10링크 집계 (Link Aggregation)Working with Link Aggregation

먼저 이 장에서 계속 나오는 용어를 정확히 잡아 두겠습니다.

하나의 bond에는 종속 인터페이스를 최소 1개에서 최대 8개까지 넣을 수 있습니다. bond 안의 모든 종속 인터페이스는 공통 IP를 공유하며 같은 MAC을 공유할 수도 있습니다. 클러스터 멤버마다 동일한 종속 인터페이스를 같은 수로 두는 것이 권장됩니다.

위 그림의 구성 요소는 다음과 같습니다.

본딩에는 두 가지 전략이 있습니다.

클러스터는 그 정의상 VSX Gateway 수준의 이중화와 고가용성을 제공합니다. 링크 집계는 여기에 같은 VSX Gateway 안의 예비 인터페이스 카드로 자동 페일오버하는 인터페이스·스위치 이중화를 더합니다.

HA 배포에서는 한 번에 하나의 인터페이스만 활성이며, 인터페이스나 연결이 죽으면 bond가 예비 종속 인터페이스로 페일오버합니다. HA 페일오버는 다음 두 경우에 일어납니다.

인터페이스 본딩으로 만드는 풀 메시 이중화

HA 모드를 ClusterXL과 함께 배포하면 더 높은 수준의 신뢰성을 얻을 수 있습니다. 이는 풀 메시(fully meshed) 토폴로지로 NIC와 스위치 양쪽에 독립적인 백업을 두어 세밀한(granular) 이중화를 구현하는 방식입니다.

이 시나리오에서 VSX Cluster Member 1과 2는 High Availability 모드로 구성되어 있습니다.

Load Sharing은 인터페이스 이중화에 더해 여러 종속 인터페이스로 트래픽을 분산하는 능력을 줍니다. 모든 인터페이스가 항상 활성이며, 트래픽은 Load Sharing이 VSX Cluster Member 사이에서 트래픽을 분배하는 것과 비슷한 방식으로 인터페이스 간에 분배됩니다.

Load Sharing은 IEEE 802.3ad 또는 XOR 표준 중 하나에 따라 동작합니다. 이 모드에서는 개별 연결마다 특정 종속 인터페이스가 지정되어, 그 연결에 대해서는 지정된 종속 인터페이스만 활성으로 동작합니다. 지정된 종속 인터페이스가 죽으면 트래픽이 다른 인터페이스로 넘어가는데, 그 인터페이스도 기존에 처리하던 트래픽을 계속 처리합니다.

용량 계획을 세울 때 다음 제한을 알아 두어야 합니다.

이 절은 bond 인터페이스에 High Availability를 설정하는 방법을 설명합니다. CLI 명령은 VSX Gateway(VS0) 컨텍스트에서 실행하며, VSX 클러스터라면 각 VSX Cluster Member에서 실행합니다. HA를 설정하려면 mode 파라미터에 active-backup 값을 씁니다.

High Availability bond 구성 워크플로

다음은 HA 모드로 링크 집계를 설정하는 CLI 명령의 흐름입니다.

인터페이스 토폴로지 갱신하기

기존 구성을 링크 집계로 바꿀 때는 새로 만든 bond에 연결되도록 관련 객체를 다시 구성해야 합니다. 여기에는 Virtual System, Virtual Router, Virtual Switch가 모두 포함됩니다. 이 작업은 SmartConsole에서 할 수 있으며, 대부분의 경우 해당 정의는 객체의 Properties 창에서 찾을 수 있습니다.

Domain Management Server와 Virtual Device가 많은 대규모 기존 VSX 배포에서는 관리 서버에서 vsx_util change_interfaces 명령을 쓰는 편이 훨씬 빠릅니다. 예컨대 200개 Domain에 각각 Virtual Device가 잔뜩 있는 Multi-Domain Server 배포라면 이 명령을 쓰는 것이 더 빠릅니다. 이 명령은 모든 해당 객체의 인터페이스를 새 bond로 자동 교체해 줍니다.

bond 재구성 (SmartConsole 절차)

새로 만든 bond를 클러스터용으로 구성하는 단계는 다음과 같습니다.

`vsx_util change_interfaces`로 토폴로지 재구성

vsx_util change_interfaces 명령으로 객체를 재구성하는 절차는 다음과 같습니다.

이 절은 bond 인터페이스에 Load Sharing을 설정하는 방법을 설명합니다. CLI 명령은 VSX Gateway(VS0) 컨텍스트에서 실행하며, VSX 클러스터 구성이라면 각 VSX Cluster Member에서 실행합니다. bond 인터페이스에는 다음 Load Sharing 모드 중 하나를 설정합니다.

Load Sharing bond 구성 워크플로

다음은 Load Sharing 모드로 링크 집계를 설정하는 CLI 명령의 흐름입니다.

임계 필수 인터페이스(Critical Required Interfaces) 설정

Load Sharing 모드의 bond는 살아 있는 종속 인터페이스 수가 임계 최솟값 아래로 떨어지면 다운으로 간주됩니다. 명시적으로 정의하지 않으면, n개 인터페이스로 이루어진 bond에서 UP 상태로 유지돼야 하는 임계 최솟값은 n-1입니다. 따라서 종속 인터페이스가 추가로 하나 더 죽어(n-2가 남으면) bond에 종속 인터페이스가 둘보다 많더라도 bond 전체가 다운으로 처리됩니다.

더 적은 수의 종속 인터페이스로도 예상 트래픽을 감당할 수 있다면, 임계 최솟값을 직접 정의해 이중화를 높일 수 있습니다. 적절한 값은 최대 예상 트래픽 속도를 종속 인터페이스 속도로 나눠 정수로 올림한 값입니다.

임계 인터페이스 수를 명시적으로 정의하려면 다음 파일을 만들어 편집합니다.

$FWDIR/conf/cpha_bond_ls_config.conf

파일의 각 줄은 다음 구문으로 적습니다.

<본드 이름> <임계 최솟값(종속 인터페이스 수)>

예를 들어 bond0에 종속 인터페이스가 7개, bond1에 6개 있다면 파일 내용은 다음과 같을 수 있습니다.

bond0 5
bond1 3

이 예에서는 —

종속 인터페이스의 CPU 코어 어피니티

최적 성능을 위해 다음 지침을 따릅니다.

이때 내부 본드와 외부 본드에서 같은 위치(position)에 있는 종속 인터페이스를 한 쌍으로 묶어 처리하는 것이 요령입니다.

   cat /proc/net/bonding/<본드 인터페이스 이름>
   

구성 예시

어떤 어플라이언스가 다음과 같다고 합시다.

이 경우 CPU 코어 중 둘은 각각 종속 인터페이스 두 개를 맡아야 합니다. 최적 구성은 다음과 같을 수 있습니다.

다음 두 가지 장애 시나리오 중 하나가 bond 페일오버를 일으킵니다.

이런 일이 생기면 상황에 따라 본드 안의 다른 종속 인터페이스로 넘어가거나 VSX Cluster Member 사이에서 페일오버가 일어납니다.

링크 상태로 시작되는 페일오버

링크 상태로 촉발되는 페일오버는 다음 순서로 진행됩니다.

CCP(Cluster Control Protocol)로 시작되는 페일오버

CCP 페일오버는 다른 VSX Cluster Member가 죽지 않았을 때만 일어나며, 다음 순서로 진행됩니다.

VLAN에 대한 페일오버 지원

ClusterXL은 VLAN ID의 연결 실패나 통신 오류를 감시해 필요할 때 페일오버합니다. 기본적으로는 가장 높은 VLAN ID와 가장 낮은 VLAN ID만 장애 감시 대상이며, 이는 정해진 간격으로 왕복 경로에 ClusterXL Control Protocol(CCP) 패킷을 보내 이루어집니다. 필요하면 VSX가 모든 VLAN을 감시하도록 설정할 수 있습니다.

장애가 감지되면 그 기록이 Logs & Events 뷰에 로그로 남습니다.

가장 높은·가장 낮은 VLAN ID 감시

기본적으로 가장 높은 VLAN ID와 가장 낮은 VLAN ID가 물리 연결의 상태를 나타냅니다. 이 VLAN ID들은 항상 감시되며 둘 중 하나라도 연결 실패가 생기면 페일오버가 시작됩니다. 대부분의 배포에서는 이 설정이 바람직한데, 기능의 주된 목적(연결 실패 감지)에 부합하고 네트워크에서 생기는 트래픽도 가볍기 때문입니다. 다만 이 설정에서는 가장 높은·가장 낮은 VLAN ID에 대한 스위치 측 VLAN 구성 문제만 감지된다는 한계가 있습니다.

Load Sharing 모드를 쓰려면 스위치 쪽도 맞춰야 합니다. 아래는 Cisco 스위치용 예시 명령이며(정확한 명령은 스위치 모델과 OS 버전에 맞는 Cisco 문서를 참고하세요), 802.3ad(LACP)와 XOR의 차이는 채널 그룹 모드가 active냐 on이냐, 그리고 LACP 프로토콜 지정 유무입니다.

# 802.3ad (LACP)
Switch# conf t
Switch(config)# port-channel load-balance src-dst-ip
Switch(config)# interface FastEthernet <참여하는 모든 포트>
Switch(config-if)# channel-group 1 mode active
Switch(config-if)# channel-protocol lacp
Switch(config-if)# exit
Switch(config)# interface port-channel 1
Switch(config-if)# switchport access vlan <원하는 vlan 번호>
Switch(config-if)# end
Switch# write

# XOR
Switch# conf t
Switch(config)# port-channel load-balance src-dst-ip
Switch(config)# interface FastEthernet <참여하는 모든 포트>
Switch(config-if)# channel-group 1 mode on
Switch(config-if)# exit
Switch(config)# interface port-channel 1
Switch(config-if)# switchport access vlan <원하는 vlan 번호>
Switch(config-if)# end
Switch# write

문제 해결 워크플로

본드에 문제가 의심되면 다음 순서로 점검합니다.

   cat /proc/net/bonding/<bond id>
   

VSX Cluster Member 중 State가 Active가 아닌 멤버가 있으면 R82 ClusterXL Administration Guide의 "Monitoring and Troubleshooting Clusters" 장을 참고합니다.

운영상 기억할 점이 있습니다. VSX Cluster Member에서는 bond 인터페이스에 대해 다음 작업을 하면 재부팅이 필요합니다.

본드 상태와 페일오버에 대한 더 자세한 정보는 Logs & Events 뷰에서 로그를 확인하세요. 모든 인터페이스 본드 상태 변화는 로그로 기록되어 Logs & Events에서 볼 수 있습니다.

참고로 자주 쓰는 명령을 모으면 다음과 같습니다.

cat /proc/net/bonding/<bond id>     # 본드 상태
cphaprob show_bond <bond_name>      # 종속 인터페이스 링크 상태 (Expert)
cphaprob state                      # 클러스터 멤버 상태 (Expert)
show cluster bond name <bond_name>  # 종속 인터페이스 링크 상태 (Clish)
show cluster state                  # 클러스터 멤버 상태 (Clish)

스위치에서의 연결 지연

일부 스위치에서는 내부 본드 페일오버 시 연결 지연이 생길 수 있습니다. 최근 일부 스위치에 포함된 여러 기능 때문에, 스위치가 새로 연결된 인터페이스에 서비스를 시작하기까지 거의 1분 가까이 걸리기도 합니다. 링크 장애 후 시작 시간을 줄이는 방법은 다음과 같습니다.

PortFast 사용에 대한 경고

Cisco 스위치 PortFast 설정 예시

다음은 IOS를 구동하는 Cisco 3750 스위치의 Gigabit Ethernet 1/0/15 인터페이스에 PortFast를 켜는 명령입니다.

# 1. 구성 모드로 진입
cisco-3750A# conf t

# 2. 구성할 인터페이스 지정
cisco-3750A(config)# interface gigabitethernet1/0/15

# 3. 이 인터페이스에 PortFast 설정
cisco-3750A(config-if)# spanning-tree portfast