결정 트리와 앙상블: 랜덤 포레스트와 부스팅

딥러닝만이 답은 아니다

딥러닝은 머신 러닝 방법 중 하나일 뿐이다. 이미지·음성·텍스트처럼 구조가 복잡한 비정형 데이터에서는 신경망이 강하지만, 집값 예측처럼 행과 열로 정리된 정형 데이터에서는 트리 기반 앙상블이 더 정확하고 빠른 경우가 많다. Kaggle의 정형 데이터 대회 상위권을 오래 차지한 것도 이 계열이다.

결정 트리

결정 트리(decision tree)는 "면적 > 30평?", "역세권?" 같은 질문을 이어 붙여 데이터를 나누는 모델이다. 끝 노드(잎)에 도달한 데이터의 다수 부류(분류) 또는 평균값(회귀)이 예측이 된다.

               [면적 > 30평?]
               /            \
            예              아니오
       [역세권?]          [준공 10년 이내?]
        /     \             /        \
     고가    중가         중가       저가

어떤 질문으로 나눌까: 불순도

각 노드에서 나눈 뒤 양쪽이 가장 "순수"해지는 질문을 고른다. 순수하다는 것은 한쪽에 같은 부류만 모였다는 뜻이다. 이를 재는 값이 불순도(impurity)이고, 대표 척도가 지니 불순도다.

Gini(노드) = 1 − Σₖ pₖ²          (pₖ: 노드 안에서 부류 k의 비율)
분할 후 Gini = Σ (자식 노드 샘플 수 / 부모 샘플 수) × Gini(자식)    ← 가중합

• 한 부류만 있으면 0(가장 순수), 두 부류가 반반이면 0.5다.
• 분할 후 Gini가 가장 많이 줄어드는 특징과 기준값을 고른다. 엔트로피(정보 이득)를 쓰기도 한다.
• 더 나눠도 불순도가 줄지 않거나, 최대 깊이·최소 샘플 수에 닿으면 멈춘다.

트리는 해석이 쉽고 전처리가 거의 필요 없지만, 끝까지 키우면 학습 데이터에 과적합한다. 이 약점을 여러 트리로 메우는 것이 앙상블이다.

앙상블: 배깅과 부스팅

랜덤 포레스트

랜덤 포레스트(random forest)는 배깅에 특징 무작위 선택을 더한다. 트리마다 데이터를 일부만 뽑고, 각 분할에서도 특징을 일부만 후보로 써서 트리끼리 서로 다르게 만든다. 서로 다른 실수를 하는 트리들이 투표하면 개별 실수가 상쇄된다.

AdaBoost의 흐름

flowchart TB
  S1["1. 모든 샘플에 같은 가중치로 첫 모델 학습"] --> S2["2. 오류율로 이 모델의 발언권(가중치)을 계산"]
  S2 --> S3["3. 틀린 샘플의 가중치를 올리고 맞힌 샘플은 낮춘다"]
  S3 --> S4["4. 바뀐 가중치로 다음 모델 학습"]
  S4 -->|"2로 돌아가 반복"| S2
  S4 --> S5["5. 최종 예측 = 모델별 발언권을 곱한 가중 투표"]

그레이디언트 부스팅(gradient boosting)은 가중치 대신 앞 모델의 잔차(오차)를 다음 트리가 예측하게 한다. 정확히는 손실 함수의 기울기(음의 그레이디언트)를 다음 트리의 목표로 삼으므로, 제곱 오차면 잔차가 되고 로그 손실이면 분류에도 그대로 쓴다. XGBoost·LightGBM·CatBoost는 이를 빠르고 정규화가 잘 되게 구현한 라이브러리로, 정형 데이터의 사실상 표준이다. 모두 pip으로 바로 설치해 scikit-learn과 비슷한 API로 쓴다.

배깅과 부스팅은 쓰는 트리부터 다르다

학습률을 낮추면 트리 하나가 고치는 양이 줄어 더 많은 트리가 필요하지만, 대체로 일반화가 좋아진다. 부스팅도 트리마다 행·열을 일부만 뽑는 서브샘플링(stochastic gradient boosting)을 더해 분산을 줄인다. 배깅의 아이디어를 빌려 오는 것이다.

왜 정형 데이터에서 부스팅이 이기나

Kaggle의 정형 데이터 대회 상위 해법은 오랫동안 XGBoost·LightGBM·CatBoost와 그 앙상블이 차지했다. 이유는 정형 데이터의 모양과 트리의 성질이 맞기 때문이다.

라이브러리마다 강점이 조금씩 다르다.

다만 이미지·텍스트·음성처럼 원자료에서 특징을 배워야 하는 데이터, 또는 데이터가 아주 많고 그 구조를 신경망에 맞게 줄 수 있을 때는 딥러닝이 앞선다. 정형 데이터에서 트리가 신경망을 앞서는 경향은 벤치마크 연구(Grinsztajn 외, 「Why do tree-based models still outperform deep learning on tabular data?」, NeurIPS 2022)로도 확인되었다.

큰 트리 하나 vs 작은 트리 50개

같은 데이터에 큰 결정 트리 하나보다 작은 트리 50개의 앙상블이 대체로 낫다.

• 큰 트리 하나는 잎마다 몇 개의 샘플만 남을 때까지 나눠 학습 데이터를 외운다. 데이터가 조금만 바뀌어도 트리 모양이 크게 바뀐다(분산이 크다).
• 작은 트리 여러 개를 평균하면 개별 트리의 우연한 실수가 상쇄된다. 분산 σ², 서로의 상관 ρ인 트리 n개를 평균한 분산은 ρσ² + (1 − ρ)σ² / n이다. n을 늘리면 둘째 항이 0으로 가고, 첫째 항을 줄이려면 트리끼리 달라야 한다. 랜덤 포레스트가 데이터와 특징을 무작위로 뽑는 이유다. 50개가 다 똑같은 트리라면 앙상블의 이득은 없다.
• 부스팅에서는 작은 트리 하나하나가 앞선 트리들이 남긴 오차의 다른 부분을 고치므로, 깊이 3인 트리 50개가 깊이 10인 트리 하나보다 복잡한 함수를 덜 과적합하게 표현한다.
• 대가는 해석성이다. 트리 하나는 if 문으로 읽히지만 50개는 그렇지 않다. 앙상블에서는 특징 중요도나 SHAP 값으로 무엇이 예측을 움직였는지 본다.

학습한 모델 배포하기

모델은 학습보다 데이터 전처리, 검증, 배포, 모니터링에 드는 품이 더 크다. 이 전 과정을 관리하는 것을 MLOps라 한다. 배포 위치는 크게 둘이다.

서버 배포의 가장 단순한 형태는 학습한 모델을 불러와 HTTP 요청을 받아 예측값을 돌려주는 REST API다. 파이썬에서는 FastAPI나 Flask로 엔드포인트를 만들고, 규모가 커지면 전용 모델 서빙 도구나 관리형 서비스를 쓴다.

정리

• 정형 데이터에서는 딥러닝보다 트리 앙상블을 먼저 시도한다.
• 결정 트리는 불순도(지니·엔트로피)를 가장 많이 줄이는 질문으로 데이터를 나눈다.
• 배깅·랜덤 포레스트는 병렬 투표로 분산을, 부스팅은 순차 보정으로 편향을 줄인다.
• 배깅은 깊은 트리를 서로 다르게 만들어 평균하고, 부스팅은 얕은 트리를 학습률을 낮춰 쌓은 뒤 조기 종료로 끊는다.
• 앙상블의 이득은 트리끼리의 상관이 낮을수록 크다. 같은 트리 50개는 트리 하나와 같다.
• 모델 배포는 서버(관리 용이)와 엣지(지연·개인정보 유리) 중 제약에 맞춰 고른다.
• 좋은 모델은 데이터 모양에 맞는 모델이다.

관련 노트: 머신 러닝 기초: 네 단계 추상화, 파이썬 데이터 분석 프로세스, 퍼셉트론과 다층 퍼셉트론