불확실한 지식으로 추론하기: 베이지안 분류기와 퍼지 추론

두 종류의 불확실성

	베이지안 추론	퍼지 추론
무엇이 불확실한가	소속 여부. 부류의 경계는 분명하다	경계 자체. 소속이 정도의 문제다
예	이 메일은 스팸인가, 아닌가	키 178cm는 "키 큰 사람"인가
수치의 뜻	확률: 그 부류에 속할 가능성	소속도: 그 집합에 속하는 정도
수학적 바탕	확률론, 베이즈 정리	퍼지 집합론, 다치 논리

베이지안 추론

베이즈 정리

P(ωᵢ | x) = P(x | ωᵢ) · P(ωᵢ) / P(x)
 사후확률      우도      사전확률   증거

항	뜻
사후확률 `P(ωᵢ \| x)`	관측 x가 주어졌을 때 그것이 부류 ωᵢ에서 나왔을 확률. 알고 싶은 값
사전확률 `P(ωᵢ)`	관측 전에 부류 ωᵢ가 나올 확률. 훈련 집합에서 `nᵢ / N`으로 추정한다
우도 `P(x \| ωᵢ)`	부류 ωᵢ에서 x가 나올 확률. 부류별 샘플로 분포를 추정하며, 분류기의 핵심이다
증거 `P(x)`	모든 부류에 공통이라 비교할 때는 생략할 수 있다

사후확률은 직접 구하기 어렵다. 베이즈 정리는 이를 데이터로 셀 수 있는 사전확률과 우도의 곱으로 바꿔 준다. MLE·MAP와의 관계는 머신 러닝 기초의 MLE와 MAP 절에 있다.

최소 오류 베이지안 분류기

특징 벡터 x를 사후확률이 가장 큰 부류로 분류한다. 두 부류라면 P(x|ω₁)P(ω₁) > P(x|ω₂)P(ω₂)일 때 ω₁이다. 분류 경계 t 양쪽에서 두 분포가 겹치는 구간이 오분류 확률이고, 이 규칙이 그 넓이를 최소로 만든다.

최소 위험 베이지안 분류기

틀림의 대가가 다를 때 쓴다. 암 환자를 정상으로 분류하는 손실은 정상인을 암 환자로 분류하는 손실보다 훨씬 크다. 손실 행렬 C = [cᵢⱼ](실제 ωᵢ를 ωⱼ로 판정한 손실)을 두고, 기대 손실이 가장 작은 부류를 고른다. 두 부류에서는 우도비 결정 규칙이 된다.

P(x|ω₁) / P(x|ω₂)  >  [(c₂₁ − c₂₂)·P(ω₂)] / [(c₁₂ − c₁₁)·P(ω₁)]   이면 ω₁
         우도비                     경계값 T

식별 함수와 정규분포 가정

단조 증가 함수 f를 씌워도 대소 비교 결과는 같다. 그래서 곱셈 대신 로그를 씌운 식별 함수 gᵢ(x) = ln P(x|ωᵢ) + ln P(ωᵢ)를 비교한다. 우도가 정규분포라고 가정하면 지수가 사라져 식이 이차식으로 단순해진다.

가정	결정 경계	장단점
부류마다 공분산이 다름	이차 곡선(비선형)	표현력이 높지만 추정할 매개변수가 많다
모든 부류가 같은 공분산	직선(선형)	단순하고 안정적이다
나이브 베이즈: 특징끼리 독립	특징별 1차원 분포의 곱	차원의 저주를 피해 빠르지만, 독립 가정이 깨지면 정확도가 떨어진다

한계

베이지안 분류기의 정확도는 확률분포를 얼마나 정확히 모델링했는가에 달려 있다. 실제 분포를 알면 이론상 최적의 분류기이지만, 현실에서는 분포를 추정할 수밖에 없어 그 오차만큼 성능이 떨어진다.

퍼지 추론

퍼지 집합과 소속 함수

일반 집합에서 원소는 속하거나(1) 속하지 않는다(0). 퍼지 집합(fuzzy set) 은 "키 큰 사람", "맛있는 커피"처럼 경계가 흐린 집합을 다룬다. 소속 함수 μ_A(x) ∈ [0, 1]이 각 원소가 집합 A에 속하는 정도를 정한다.

μ_키큰(x)
 1.0 ┤                ┌──────
     │              ╱
 0.5 ┤            ╱
     │          ╱
 0.0 ┼────────┘
     160     170     180   (cm)

집합 연산

연산	정의
여집합	`μ_¬A(x) = 1 − μ_A(x)`
합집합	`μ_A∪B(x) = max(μ_A(x), μ_B(x))`
교집합	`μ_A∩B(x) = min(μ_A(x), μ_B(x))`
상등	모든 x에서 `μ_A(x) = μ_B(x)`
포함 A ⊆ B	모든 x에서 `μ_A(x) ≤ μ_B(x)`

퍼지 관계와 합성

두 집합 X, Y 사이의 퍼지 관계 R은 각 쌍 (x, y)에 0~1의 관계 정도를 준 행렬이다. 합집합 관계는 원소별 max, 교집합 관계는 원소별 min이다. 두 관계를 이어 붙이는 max-min 합성은 행렬 곱에서 곱 대신 min, 합 대신 max를 쓴 것이다. 규칙을 연쇄해 결론을 끌어낼 때 이 합성을 쓴다.

퍼지 논리

명제의 참값을 {0, 1}에서 [0, 1]로 넓힌 다치 논리다.

연산자	정의
부정 ¬P	`1 − P`
논리곱 P ∧ Q	`min(P, Q)`
논리합 P ∨ Q	`max(P, Q)`
조건 P → Q	`min(1, 1 − P + Q)` (우카시에비치 함의)

"온도가 높으면 팬을 빠르게" 같은 사람의 언어 규칙을 그대로 제어 규칙으로 쓸 수 있어, 에어컨·세탁기 같은 가전, 지능 제어, 전문가 시스템, 의사결정 지원에 쓰인다.

사람이 만든 정답의 불확실성

감정처럼 주관적인 대상을 학습시키려면 사람이 붙인 정답(human annotation)으로 진리표를 만든다. 이때 두 가지 편차가 끼어든다.

편차	원인
사람 간 편차(between persons)	같은 자극에도 사람마다 판단이 다르다
사람 내 편차(within a person)	같은 사람도 컨디션 등에 따라 판단이 바뀐다

그래서 여러 명이 라벨을 달고 합의도를 재며, 판단이 갈리는 데이터는 확률이나 소속도처럼 연속값 라벨로 다루기도 한다.

정리

베이지안 추론은 "어느 부류인가"의 불확실성을, 퍼지 추론은 "얼마나 속하는가"의 모호함을 다룬다.
베이지안 분류기는 사전확률 × 우도로 사후확률을 비교하고, 손실이 비대칭이면 손실 행렬로 경계를 옮긴다.
나이브 베이즈는 특징 독립을 가정해 계산을 크게 줄이는 대신 정확도를 일부 내준다.
퍼지 집합은 소속 함수, max/min 연산, max-min 합성으로 사람의 언어 규칙을 계산 가능하게 만든다.
확률은 모르는 사실에 대한 믿음이고, 소속도는 정의 자체의 흐릿함이다.

버그 제보