네트워크 보안: 방화벽, VPN, 계층별 공격

위협의 네 갈래와 암호

공용망을 지나는 데이터를 노리는 위협은 무엇을 깨뜨리느냐로 넷이다. 모두 의도적인 공격이고, 어떤 기법도 100% 막지는 못하므로 위협마다 맞는 수단을 겹쳐 쓴다.

이 중 기밀성·무결성·인증을 기술로 지키는 중심이 암호다.

대칭키·공개키·해시

실무는 둘을 섞은 하이브리드 암호다. 공개키로 대칭키를 합의하고 데이터는 그 대칭키로 암호화한다. TLS가 그렇다(HTTPS와 TLS). 인코딩·해시·토큰화와의 구별, 용도별 알고리즘 선택과 조합의 함정은 인코딩·암호화·해시·토큰화와 디지털 서명에 있다.

RSA는 큰 수를 소인수분해하기 어렵다는 점에 안전성을 건 공개키 암호다. 키 만들기와 암호화·복호화는 다음 순서다(수학적 근거인 오일러 정리는 정수론 기초: 소수·최대공약수·합동식).

1. 큰 소수 p, q를 고르고 n = p × q, φ(n) = (p-1)(q-1)을 구한다
2. φ(n)과 서로소인 e를 고른다 (보통 65537)
3. e × d ≡ 1 (mod φ(n))인 d를 구한다 (확장 유클리드 호제법)
4. 공개키 (n, e), 개인키 (n, d). p, q, φ(n)은 버린다
암호화 c = m^e mod n,  복호화 m = c^d mod n
 
작은 예: p=3, q=11 → n=33, φ=20, e=3, d=7 (3×7=21≡1)
  m=4 → c = 4³ mod 33 = 31 → 31⁷ mod 33 = 4

실제 키는 n이 2048비트 이상이다. RSA는 지금 주로 서명(인증서)에 쓰이고, TLS 1.3은 RSA로 세션 키를 보내는 키 교환을 없앴다(웹 PKI의 변천).

방화벽

방화벽(firewall) 은 네트워크 경계에서 들어오고 나가는 트래픽을 규칙에 따라 허용하거나 막는 장치·소프트웨어다. 사설망과 인터넷 사이의 문지기 역할을 한다.

종류: 무엇을 보고 판단하나

아래로 갈수록 더 많은 맥락을 보고, 그만큼 비용이 든다.

규칙을 거는 기준

규칙의 출발점은 기본 거부(default deny) 다. 모두 막아 두고 필요한 것만 연다. 클라우드에서 DB의 보안 그룹을 앱 서버의 보안 그룹에서 오는 트래픽만 받도록 여는 것이 같은 원칙이다 → AWS 클라우드 기초.

침입 탐지·방지 시스템(IDS·IPS)

방화벽이 출입구에서 규칙에 맞지 않는 트래픽을 미리 막는 문지기라면, 규칙을 통과해 들어왔거나 내부에서 시작된 공격은 따로 찾아야 한다.

탐지 방식은 알려진 공격 패턴과 맞춰 보는 시그니처 기반과, 평소 트래픽 모양을 학습해 두고 벗어나면 잡는 이상 탐지(anomaly) 기반이다. 시그니처는 오탐이 적지만 새 공격을 못 잡고, 이상 탐지는 알려지지 않은 공격도 잡지만 오탐이 많다. 지금은 NGFW가 IPS를 품는 경우가 많다.

전형적인 배치는 바깥에서 안쪽으로 겹을 쌓는 모양이다.

flowchart LR
  inet["인터넷"] --- fw["방화벽"] --- ips1["IPS"] --- core["라우터·백본 스위치"] --- lan["내부망"]
  ips1 --- ips2["IPS"] --- dmz["DMZ 서버팜(웹·메일)"]
  ap["무선 AP"] --- ips3["IPS<br>(무선 사용자가 시작하는 공격도 거른다)"] --- sw["스위치"]

VPN

VPN(Virtual Private Network) 은 인터넷 같은 공용망 위에 암호화된 터널을 만들어, 떨어진 기기나 네트워크를 같은 사설망에 있는 것처럼 잇는다. 본사와 지사를 잇던 전용 회선은 거리와 지점 수에 따라 비용이 늘고 지점을 옮길 때마다 다시 깔아야 했다. VPN은 이미 있는 공용망을 빌려 쓰고 사설망에 필요한 것(주소 비공개, 암호화, 사용자 인증·접근 제한)만 위에 얹는다. 망은 통신사 것이지만 쓰는 사람에게는 사설망처럼 보여서 「가상」 사설망이다.

VPN 없이:

flowchart LR
    d1["기기"] -->|"공용 Wi-Fi, ISP가 목적지를 봄"| w1["웹사이트<br/>(내 IP가 보임)"]

VPN 사용:

flowchart LR
    d2["기기"] ==>|"암호화 터널"| v["VPN 서버"] --> w2["웹사이트<br/>(VPN 서버 IP가 보임)"]

1. 기기와 VPN 서버가 서로 인증하고 터널을 맺는다
2. 기기의 트래픽을 터널 안에서 암호화한다
3. VPN 서버가 풀어서 목적지로 보낸다. 목적지는 VPN 서버 IP를 본다

포워드 프록시와 무엇이 다른지는 프록시: 포워드 프록시와 리버스 프록시에 있다.

VPN의 종류

사내 VPN을 계정 체계에 붙이기

VPN 전용 계정 DB(LDAP 등)를 따로 운영하거나 설정 파일·키를 나눠 주는 방식은 관리 부담과 유출 위험이 크다. 이미 쓰는 신원 공급자(Google Workspace·Okta 같은 SSO, 클라우드 IAM)로 인증하게 만들면 입·퇴사가 계정 하나로 정리된다.

flowchart TB
  subgraph auth["1. 인증"]
    a1["사용자"] --> a2["SSO(OAuth/OIDC) 또는 클라우드 IAM 확인"] --> a3["서명된 단기 토큰(JWT) 발급"]
  end
  subgraph conn["2. 연결"]
    c1["클라이언트가 토큰을 VPN 서버에 제시"] --> c2["서버가 서명·만료 확인"] --> c3["VPN IP·게이트웨이 설정을 내려 준다"]
  end
  subgraph tun["3. 터널"]
    t1["클라이언트가 TUN 가상 장치를 만들고,<br/>IP 패킷을 TLS 채널(예: gRPC 스트림) 안에 실어 보낸다"]
  end
  subgraph keep["4. 유지"]
    k1["끊기면 지수 백오프로 재연결,<br/>토큰이 만료되면 연결을 끊는다"]
  end
  a3 --> c1
  c3 --> t1
  t1 --> k1

• 인증과 터널을 토큰으로 분리하면 인증 수단을 늘려도 터널 쪽은 그대로다.
• 직군·역할마다 다른 VPN 그룹(클라우드 보안 그룹)으로 접근 범위를 나눈다.
• TUN은 3계층(IP 패킷) 장치라서 연결·트래픽을 사용자 단위로 기록해 이상 징후를 볼 수 있다.

전통적인 VPN은 터널 안에 들어오면 망 전체를 믿는 구조다. 그래서 사용자·기기·요청마다 다시 확인하는 제로 트러스트 접근(ZTNA) 이 사내 VPN을 대체하는 흐름이 있다.

OSI 계층별 공격

공격은 계층마다 노리는 것이 다르다. 한 계층의 방어만으로는 부족하므로 계층마다 겹겹이 막는다(OSI 7계층).

정리

• 방화벽은 기본 거부에서 시작해 포트·IP·프로토콜·상태·애플리케이션 기준으로 필요한 것만 연다. 지금의 기본은 상태 추적 방화벽이고, 응용 계층은 WAF·NGFW가 본다.
• VPN은 공용망 위의 암호화 터널이다. 원격 접속과 사이트 간 연결로 나뉘고, 신뢰를 VPN 제공자에게 옮긴다는 점을 기억한다.
• 위협은 가용성·기밀성·무결성·인증 중 무엇을 깨느냐로 나누고, 암호는 대칭키로 데이터를, 공개키로 키 합의와 서명을, 해시로 무결성을 맡는다.
• 공격은 계층마다 다르므로 방어도 계층마다 쌓는다.

관련 노트: 프록시: 포워드 프록시와 리버스 프록시, OSI 7계층, SSH의 동작: 전송·인증·연결 계층, 정보 시스템 보안, 보안 시스템 설계: 원칙과 민감 데이터 관리, 가입자망과 광역망(MPLS VPN)