머신 러닝 기초: 네 단계 추상화

머신 러닝이란

머신 러닝(machine learning)은 데이터에서 패턴을 찾아 예측에 쓰는 기법의 묶음이다. 대부분은 데이터에 숨은 분포, 즉 어떤 일이 얼마의 확률로 일어나는지를 배우는 일로 요약된다.

구매 금액 분포가 "5달러 이하 50%, 510달러 25%, 10100달러 24%, 100달러 초과 1%"라는 것을 알면 세 가지를 할 수 있다.

흔히 섞어 쓰지만 머신 러닝은 인공지능(AI)이라는 더 큰 목표 안의 기법 묶음이다. 스팸 판별, 부정맥 진단, 다음 영상 추천처럼 한 가지 일만 잘하는 AI를 좁은 AI(narrow AI, weak AI), 사람처럼 무엇이든 하는 AI를 범용 AI(AGI, strong AI) 라 한다. LLM은 한 모델이 번역·요약·코딩을 모두 해 이 경계를 흐렸지만, 사람 수준의 범용 AI가 이뤄졌는지는 합의가 없다.

실제로는 입력 x를 출력으로 바꾸는 함수, 즉 모델 f(x)를 배운다. f(x) = ax에서 a가 매개변수(parameter)다. 예측 f(x)와 정답(label) y의 차이를 재는 손실 함수를 정하고, 손실이 가장 작은 매개변수를 찾는다. 매개변수 후보가 무한하면 그 "찾는 방법"이 핵심 문제가 된다.

네 단계 추상화

어떤 머신 러닝 문제든 네 층으로 나눠 생각한다(UC 버클리 CS189의 분류).

1. 데이터

데이터를 모으고 다듬는 일이 전체의 대부분이다. 데이터는 세 몫으로 나눈다.

데이터가 적으면 검증 세트를 떼어 내기 아깝고, 어느 몫이 검증에 걸렸느냐에 따라 점수가 흔들린다. 그래서 교차 검증(cross-validation) 을 쓴다. K-겹(K-fold) 교차 검증은 학습 데이터를 K개(보통 5나 10)로 나눠, 한 겹을 검증에 두고 나머지로 학습하기를 K번 돌린 뒤 점수를 평균한다. 모든 샘플이 한 번씩 검증에 쓰이고, 점수의 평균과 함께 흩어짐(표준편차)도 얻는다.

스케일링·결측 대체·특징 선택 같은 전처리도 겹 안에서 학습 몫으로만 맞춘다. 전체 데이터로 평균을 구한 뒤 나누면 검증 몫의 정보가 새어(data leakage) 점수가 실제보다 좋게 나온다. scikit-learn의 Pipeline을 cross_val_score에 넘기면 이 순서가 지켜진다.

2. 모델: 지도와 비지도

분류기: 특징과 결정 경계

분류(classification)를 하는 알고리즘을 분류기(classifier) 라 한다. 나방 두 종을 가려내는 분류기를 예로 들면 흐름은 이렇다.

• 두 종의 분포가 가운데서 겹치면 어떤 경계도 100%가 될 수 없다. 경계를 한쪽으로 옮기면 A를 B로 잘못 보는 수가 줄고 B를 A로 보는 수가 는다. 알고리즘의 일은 정답을 최대로, 오류를 최소로 하는 경계를 찾는 것이다. 어디서 맞고 틀렸는지는 혼동 행렬로 센다(분류 모델 성능 평가 지표).
• 특징 공간을 축에 평행한 상자로 자르는 것이 결정 트리다. 코드로는 중첩된 if 문이 된다(결정 트리와 앙상블).
• 서포트 벡터 머신(SVM) 은 클래스 사이 여백(margin)이 가장 넓은 경계를 찾는다. 커널 함수를 쓰면 곡선·곡면 경계도 만든다.
• 특징이 3개면 경계는 평면, 수백·수천 개면 초평면(hyperplane) 이 된다. 사람은 그릴 수도 상상할 수도 없지만 알고리즘은 같은 방식으로 찾는다.
• 결정 트리와 SVM은 데이터로 확신 있는 결정을 내리는 통계학에 뿌리를 두고, 인공 신경망은 뇌의 뉴런에서 착안했다(퍼셉트론과 다층 퍼셉트론).

3·4. 최소제곱법으로 본 목표와 알고리즘

flowchart TB
  T["진짜 직선 y = mx + b"] -->|"측정 오차·노이즈"| O["관찰한 점 (x₁,y₁), (x₂,y₂) …"]
  O --> P["후보 직선의 예측 ŷᵢ = m·xᵢ + b"]
  P --> L["손실 = Σ (ŷᵢ − yᵢ)²<br/>점과 직선의 세로 거리 제곱 합"]
  L --> M["min over m, b"] --> Dz["미분 = 0"] --> R["최적 m, b"]

특징이 여러 개면 같은 문제를 행렬로 쓴다. 데이터 n개, 특징 k개일 때 X는 n×k, 계수 β는 k×1, 정답 y는 n×1이다.

손실:   ‖Xβ − y‖² = βᵀXᵀXβ − 2yᵀXβ + yᵀy
기울기: ∇ = 2XᵀXβ − 2Xᵀy = 0
정규 방정식(normal equation): XᵀXβ = Xᵀy   →   β̂ = (XᵀX)⁻¹Xᵀy

XᵀX의 역행렬이 있으려면 특징끼리 완전히 겹치지 않아야 한다(다중공선성이 없어야 한다). 머신 러닝의 문제는 거의 늘 이런 고차원 벡터·행렬 계산이라 선형대수가 기초가 되고, 미분 결과의 차원(shape)을 맞춰 보는 습관이 계산 실수를 막는다.

최소제곱법은 이처럼 닫힌 해(closed-form solution) 가 있어 공식으로 바로 답이 나온다. 대부분의 모델, 특히 신경망은 닫힌 해가 없어서 경사 하강법처럼 조금씩 손실을 줄여 가는 반복 알고리즘을 쓴다.

모든 기법에 깔린 주제

과적합과 과소적합

둘 사이의 균형을 편향-분산 트레이드오프(bias-variance tradeoff) 로 다룬다. 손실에 모델 복잡도 벌점을 더하거나, 학습률 같은 하이퍼파라미터를 조정한다.

MLE와 MAP

먼저 확률(probability)과 우도(likelihood)를 가른다. 같은 식 P(x | θ)를 두 방향으로 읽는 것이다.

앞면 7번이면 L(θ) = θ⁷(1 − θ)³이고, 이것을 가장 크게 하는 θ = 0.7이 최대우도추정값이다. 곱셈이 길어지면 수치가 0으로 뭉개지므로 실제로는 로그를 씌운 로그 우도를 최대화한다(음의 로그 우도를 최소화하는 것이 분류의 교차 엔트로피 손실이다).

레시피로 아이스크림 맛을 맞히고 싶다. 원하는 것은 P(맛 | 레시피)인데, 데이터로 셀 수 있는 것은 P(레시피 | 맛)이다.

• 최대우도추정(MLE): P(레시피 | 맛)이 가장 큰 맛을 고른다. 데이터가 가장 그럴듯해지는 쪽을 택한다.
• 최대사후확률(MAP): 여기에 맛 자체의 사전 확률 P(맛)까지 곱해 고른다. 사전 지식을 반영한다.

특징화와 정규화

데이터가 원 모양이면 직선으로 맞지 않는다. 하지만 입력을 x² , y²로 바꾸면 x² + y² = r²은 새 변수에 대해 선형이 되어 최소제곱법을 그대로 쓸 수 있다. 이렇게 입력을 변환하는 것이 특징화(featurization) 다. 특징을 늘릴수록 모델이 복잡해지므로, 정규화(regularization) 로 복잡도에 벌점을 줘 과적합을 막는다.

한국어 「정규화」는 두 가지를 가리키므로 구분한다. 규제(regularization) 는 손실에 벌점을 더해 모델을 단순하게 만드는 것이고, 특징 스케일링(normalization, standardization) 은 열마다 단위를 맞추는 전처리다(최소-최대로 0~1, 또는 평균 0·표준편차 1). 스케일링은 거리를 쓰는 k-NN·k-means·SVM과 경사 하강법의 수렴에 중요하고, 값의 순서만 보는 트리 모델에는 거의 영향이 없다. 규제의 벌점도 계수 크기에 걸리므로 스케일링을 먼저 해야 공정하게 걸린다.

L1이 0을 만드는 이유는 기하로 보인다. 계수 2개일 때 L1 제약 |w₁| + |w₂| ≤ t는 꼭짓점이 축 위에 있는 마름모이고, 손실의 등고선은 대개 그 꼭짓점에서 처음 닿는다. L2 제약은 원이라 축 위가 특별하지 않다. 확률로 보면 L2는 계수에 가우시안 사전 분포, L1은 라플라스 사전 분포를 둔 MAP 추정과 같다.

차원의 저주와 차원 축소

특징(차원)이 늘면 공간의 부피가 기하급수로 커져 데이터가 상대적으로 텅 빈다. 이것이 차원의 저주(curse of dimensionality) 다.

• 각 축을 10칸으로 나눌 때 1차원은 10칸, 10차원은 10¹⁰칸이다. 칸마다 샘플이 하나씩만 있으려 해도 데이터가 터무니없이 많이 필요하다.
• 고차원에서는 모든 점 사이의 거리가 비슷해진다. 가장 가까운 이웃과 가장 먼 이웃의 거리 비가 1에 가까워져, 거리로 판단하는 k-NN·k-means·유사도 검색이 무뎌진다.
• 쓸모없는 특징이 늘면 모델이 우연한 패턴에 맞춰 과적합하기 쉽다.

대응은 특징을 고르거나(특징 선택: L1 규제, 트리의 특징 중요도) 줄이는 것(차원 축소)이다. 대표가 주성분 분석(PCA, principal component analysis) 이다.

1. 각 특징에서 평균을 빼 중심을 맞춘다 (단위가 다르면 표준화도)
2. 공분산 행렬을 구해 고유벡터·고유값을 얻는다 (또는 데이터 행렬을 SVD)
3. 고유값이 큰 순서, 즉 분산을 가장 많이 담는 방향부터 k개를 고른다 → 주성분
4. 데이터를 그 k개 축에 사영한다

PCA는 선형 변환이라 꼬인 구조는 펴지 못하고, 주성분이 무엇을 뜻하는지 해석하기 어렵다. 시각화용 비선형 축소로는 t-SNE·UMAP을 쓰고, 텍스트의 LSA는 단어-문서 행렬에 SVD를 적용한 같은 계열이다. 딥러닝 임베딩도 고차원 원자료를 저차원 의미 공간으로 줄이는 차원 축소의 한 형태다.

소프트웨어 엔지니어에서 머신 러닝 실무자로

선형대수와 확률의 기초가 있는 소프트웨어 엔지니어는 몇 달의 독학으로 머신 러닝 엔지니어가 될 수 있다. 공개 강좌와 자료는 충분하다. 가장 큰 장벽은 기술이 아니라 다시 초보자가 되는 것을 받아들이는 마음이다. 소프트웨어 실력을 계속 찾는 환경에 있으면 익숙한 일로 돌아가며 전환을 미루기 쉽다.

소프트웨어 관점만으로 문제를 보면 반쪽만 보인다. 모델링을 조금 바꾸면 피할 수 있는 어려운 문제를 인프라로 풀려 들게 된다. 대규모 분산 학습처럼 소프트웨어와 머신 러닝을 엮어야 풀리는 문제가 많아, 두 기술을 함께 가진 사람이 결정적인 기여를 한다.

몇 달 지나면 끝없이 새 개념을 배워야 할 것 같던 느낌이 사라진다. 완전히 새로운 기본 요소를 계속 배우지 않아도 진전할 수 있고, 남은 것(가중치 초기화, 학습률 스케줄 같은 경험)은 점진적으로 쌓인다. 실패할 시간과 공간을 스스로에게 주면, 대개 예상보다 빨리 된다.

실습 도구

더 읽을거리

• Google 머신러닝 단기집중과정: 선형·로지스틱 회귀와 분류, 수치·범주형 데이터 다루기, 일반화와 과적합, 신경망·임베딩·LLM 입문, 프로덕션 ML 시스템과 공정성까지 영상·인터랙티브 시각화·실습으로 다루는 무료 강좌.
• Google 머신러닝 용어집: ML·AI 용어를 알파벳순으로 정의한 한국어 용어집.
• 김성범 교수(고려대 산업경영공학부) 유튜브 채널: 「핵심 머신러닝」 강의 시리즈.

정리

• 머신 러닝은 데이터의 분포를 배워 이상 탐지·추천·예측을 하는 일이다.
• 데이터 → 모델 → 목표 → 알고리즘의 네 층으로 나눠 보면 어떤 기법이든 자리가 보인다.
• 데이터는 학습·검증·테스트로 나누고, 테스트 세트는 마지막에 한 번만 본다. 데이터가 적으면 K-겹 교차 검증을 쓰고 전처리도 겹 안에서 맞춘다.
• 과적합과 과소적합 사이의 균형이 모든 기법의 공통 과제다.
• L1 규제는 계수를 0으로 만들어 특징을 고르고, L2는 고르게 줄인다. 특징이 너무 많으면 차원의 저주가 오므로 고르거나 PCA로 줄인다.
• 모델을 고르기 전에 무엇을 예측하고 무엇으로 성공을 잴지부터 정한다.
• 엔지니어가 머신 러닝으로 넘어갈 때 가장 큰 장벽은 다시 초보자가 되는 것이다. 만들 것을 정해 배우고, 남의 모델 코드를 고쳐 보고, 실험 기록부터 챙긴다.

관련 노트: 파이썬 데이터 분석 프로세스, Jupyter Notebook, 문자열·문서 유사도: 편집 거리와 코사인 유사도, 퍼셉트론과 다층 퍼셉트론, 분류 모델 성능 평가 지표, 결정 트리와 앙상블, 개발자의 지속 가능한 학습 루프, 딥러닝 직관으로 이해하기, 추천 시스템, 시계열 분석