고가용성 이중화 구조와 장애 감지

가용성이란

가용성(availability)은 장애가 나지 않은 노드가 합리적인 시간 안에 오류 없이 응답하는 비율이다. 응답이 온다는 것만 보장할 뿐, 그 데이터가 최신이라는 것은 보장하지 않는다. 최신성은 일관성의 문제다.

목표는 흔히 「9가 몇 개인가(nines)」로 말한다.

가용성 = 가동 시간 ÷ (가동 시간 + 중단 시간)

9가 하나 늘 때마다 허용 중단은 10분의 1로 준다. 일곱 개 이상은 연간 몇 초 이하라 사람이 개입해 복구하는 것 자체가 불가능한 수준이다.

구성 방식에 따른 가용성 계산

직렬(모두 살아 있어야 동작):   A = A1 × A2 × …
병렬(하나만 살아 있으면 동작): A = 1 − (1 − A1)(1 − A2)…
 
예) 가용성 90% 노드 하나        → 90%
    같은 노드 둘을 병렬로       → 1 − 0.1 × 0.1 = 99%
    99.9% 서비스 셋을 직렬로    → 약 99.7%

이중화는 가용성을 곱으로 끌어올리고, 의존성은 곱으로 끌어내린다. 요청 경로에 동기 의존성이 많을수록 전체 가용성은 가장 약한 고리보다도 낮아진다. 병렬 계산은 노드 장애가 서로 독립이라는 가정이 있어야 맞으므로, 같은 랙·같은 AZ에 둔 복제본은 계산만큼 안전하지 않다.

가용성, 신뢰성, 결함 허용

이중화 구조

노드 두 개로 이중화하기

스트림 처리에서의 이중화

클러스터 이중화

데이터센터·리전 단위의 이중화(백업·파일럿 라이트·웜 스탠바이·액티브-액티브)와 RTO·RPO는 고가용성과 재해 복구 설계에 있다.

클러스터링

클러스터(cluster)는 네트워크로 이은 컴퓨터(노드) 둘 이상이 하나의 시스템처럼 함께 일하는 구성이다. 노드들이 공유 저장소나 각자의 로컬 저장소를 쓰고, 보통 리더 노드 하나가 진입점이 되어 일을 나눠 주고 결과를 모은다. 사용자는 상대가 클러스터인지 한 대인지 몰라야 하고, 노드 간 통신이 병목이 되지 않게 설계한다.

클러스터 모드는 쿠버네티스·Amazon ECS 같은 컨테이너 플랫폼, Cassandra·MongoDB 같은 DB, Redis 같은 캐시에 흔히 들어 있다.

로드 밸런싱과의 차이(서버가 서로를 아는가)는 로드 밸런서에 있다.

결함 허용 설계의 원칙

결함 허용(fault tolerance)은 일부가 고장 나도 시스템 전체는 계속 동작하는 성질이다.

노드 장애 감지: 하트비트

분산 시스템은 상대 노드가 죽었는지 직접 알 수 없다. 그래서 하트비트(heartbeat), 즉 주기적인 생존 신호를 주고받고 일정 시간 신호가 없으면 죽었다고 추정한다.

타임아웃을 정하는 감각

• 짧으면 일시적 지연에도 장애로 판정해 불필요한 페일오버가 일어난다. 페일오버 자체가 부하를 만들어 상황을 악화시킬 수 있다.
• 길면 진짜 장애를 늦게 알아 그만큼 중단이 길어진다.
• 그래서 「N번 연속 놓치면 장애」처럼 여러 번 관측해 판정하고, 판정 뒤에도 바로 지우기보다 의심(suspect) 상태를 거치게 한다.

페일오버와 스플릿 브레인

단일 리더 구조에서 리더가 죽으면 쓰기가 멈춘다. 복제본에서 읽기는 계속될 수 있지만, 새 리더가 서기 전까지 쓰기 요청은 실패하고 진행 중이던 트랜잭션은 결과를 알 수 없게 된다. 그래서 리더를 바꾸는 페일오버(failover) 를 자동화한다.

1. 감지    하트비트·헬스 체크가 정해진 횟수만큼 실패하면 리더가 죽었다고 판정한다
2. 선출    복제본 중 가장 최신 데이터를 가진 노드를 새 리더로 고른다
           (합의로 뽑거나, 과반 감시자의 동의를 받는 조정자가 고른다)
3. 재구성  클라이언트·프록시가 새 리더로 쓰기를 보내게 바꾼다 (DNS, 가상 IP, 프록시, 서비스 디스커버리)
4. 강등    옛 리더가 돌아오면 새 리더의 팔로워로 들어오게 한다

비동기 복제와 데이터 유실

비동기 복제에서 리더는 복제본이 받기 전에 클라이언트에게 성공을 돌려준다. 리더가 그 직후 죽으면, 새 리더로 승격된 복제본에는 확인까지 받은 쓰기가 없다. 옛 리더가 돌아와도 그 쓰기는 새 리더의 기록과 충돌하므로 대개 버려진다. 즉 비동기 복제의 페일오버는 RPO가 0이 아니다.

• 버려진 쓰기를 이미 다른 시스템이 봤다면 더 위험하다. 새 리더가 자동 증가 ID를 다시 발급해 캐시나 외부 시스템에 남은 옛 ID와 다른 행이 같은 ID를 갖는 식으로 어긋난다.
• 줄이는 방법: 복제본 최소 하나가 받은 뒤 응답하는 반동기·동기 복제, 승격 후보를 가장 앞선 복제본으로 고르기, 복제 지연이 큰 복제본은 후보에서 빼기. 복제 방식의 비교는 데이터베이스 확장과 성능 최적화에 있다.

스플릿 브레인

스플릿 브레인(split-brain) 은 두 노드가 동시에 자기가 리더라고 믿고 쓰기를 받는 상태다. 네트워크 분할, 긴 GC 멈춤, 너무 짧은 타임아웃 때문에 살아 있는 리더를 죽었다고 오판하면 생긴다. 두 쪽의 쓰기가 갈라져 나중에 합칠 수 없게 된다.

정족수만으로는 「자기가 아직 리더인 줄 아는」 옛 리더의 쓰기를 막지 못한다. 그래서 정족수로 새 리더를 뽑고, 에포크·펜싱으로 옛 리더의 쓰기를 거부하는 두 겹을 함께 쓴다. 합의 알고리즘이 이를 어떻게 지키는지는 분산 시스템의 시간과 장애의 Raft에 있다.

정리

• 가용성은 나인으로 재고, 이중화는 곱으로 올리고 직렬 의존성은 곱으로 내린다.
• 주-백업은 단순하지만 놀고, 주-보조는 읽기를 나누지만 옛 값을 줄 수 있고, 주-주는 처리량을 늘리지만 쓰기 충돌을 감수한다.
• 리더 없는 복제는 W + R > N 정족수로 최신 값을 읽는다.
• 장애 감지는 추정이다. 오판과 늦은 감지 사이에서 타임아웃과 판정 횟수를 고른다.
• 페일오버는 감지 → 선출 → 재구성 → 강등이다. 비동기 복제면 확인된 쓰기를 잃을 수 있다.
• 스플릿 브레인은 정족수로 새 리더를 뽑고 에포크·펜싱으로 옛 리더의 쓰기를 거부해 막는다.

관련 노트: 고가용성과 재해 복구 설계, 시스템 설계의 품질 속성과 트레이드오프, 장애 확산을 막는 복원력 패턴, 캐시 클러스터 운영과 장애 대응, 분산 시스템의 통신·데이터 흐름 패턴