강화 학습: 에이전트·MDP·가치 함수와 알고리즘 분류

강화 학습이란

강화 학습(Reinforcement Learning)은 정답 레이블 없이, 시행착오로 받은 보상을 신호 삼아 행동 규칙을 배우는 머신 러닝 분야다. 지도 학습이 "이 입력의 정답은 이것"을 배운다면, 강화 학습은 "이 상황에서 이렇게 하면 길게 봐서 얼마나 좋은가"를 배운다. 게임 AI, 로봇 제어, 추천, 그리고 LLM을 사람 선호에 맞추는 RLHF(Reinforcement Learning from Human Feedback)가 대표적인 응용이다.

flowchart LR
  ag["에이전트<br/>(정책 π)"] -->|"행동 Aₜ"| env["환경"]
  env -->|"다음 상태 Sₜ₊₁, 보상 Rₜ₊₁"| ag

기본 용어

마르코프 성질: 다음 상태는 바로 전 상태와 직전 행동에만 달려 있고, 그 이전 이력과는 무관하다고 가정한다.

마르코프 결정 과정(MDP)

강화 학습 문제는 MDP라는 틀로 정식화한 뒤 푼다. MDP는 다섯 요소의 튜플이다.

MDP = (S, A, P, R, γ)
       │  │  │  │  └ 감가율(discount factor), 0 ≤ γ ≤ 1
       │  │  │  └ 보상 함수
       │  │  └ 상태 전이 확률
       │  └ 행동 집합
       └ 상태 집합

γ 대신 시작 상태 분포 ρ₀를 넣어 정의하는 문헌도 있다. 무엇을 튜플에 넣느냐는 표기 차이이고, 문제를 이루는 재료는 같다.

리턴, 가치 함수, 벨만 방정식

리턴과 감가율

당장의 보상만 보면 근시안이 된다. 그래서 앞으로 받을 보상을 모두 더하되, 먼 미래일수록 γ를 거듭 곱해 깎는다. 지금 먹는 밥이 내일 먹을 밥보다 값지다는 직관과 같다.

Gₜ = Rₜ₊₁ + γ·Rₜ₊₂ + γ²·Rₜ₊₃ + …

가치 함수

Q*를 알면 최적 행동은 a* = argmaxₐ Q*(s, a)로 바로 나온다. 그래서 많은 알고리즘이 Q를 추정하는 데 집중한다.

벨만 방정식

벨만 방정식(Bellman equation)은 지금 상태의 가치를 "즉시 보상 + 감가된 다음 상태의 가치"로 쪼개는 재귀식이다.

V^π(s)   = E_π[ Rₜ₊₁ + γ·V^π(Sₜ₊₁) | Sₜ = s ]
Q^π(s,a) = E_π[ Rₜ₊₁ + γ·Q^π(Sₜ₊₁, Aₜ₊₁) | Sₜ = s, Aₜ = a ]
Q*(s,a)  = E[ Rₜ₊₁ + γ·maxₐ' Q*(Sₜ₊₁, a') ]      ← 벨만 최적 방정식

긴 에피소드 전체를 볼 필요 없이 한 스텝씩 값을 맞춰 가며 가치를 갱신할 수 있는 근거가 이 식이다.

알고리즘 분류

경계가 겹치는 분류지만, 세 축으로 보면 대부분의 알고리즘이 자리를 찾는다.

1. 모델 기반 vs 모델 프리

여기서 "모델"은 MDP의 전이 확률 P와 보상 함수 R이다.

2. 가치 기반 vs 정책 기반

가치를 추정하는 방식은 업데이트 시점으로도 나뉜다. 몬테카를로(MC) 는 에피소드가 끝나야 실제 리턴으로 갱신하고, 시간차(TD) 학습은 매 스텝 벨만 방정식으로 추정한 값으로 갱신한다.

3. 온 정책 vs 오프 정책

어디에 쓰나

지도·비지도 학습과 달리 에이전트가 스스로 행동해 학습 데이터를 모은다. 새 정보가 필요하면 탐색(exploration)하고, 충분히 알면 활용(exploitation)한다. 대신 직접 시행착오를 겪어야 하므로 데이터 효율이 낮다.

공부와 구현 요령

공부 순서

• 딥러닝 기초를 먼저 익힌 뒤 심층 강화 학습(Deep RL)으로 간다.
• 알고리즘 지도는 OpenAI Spinning Up의 「A Taxonomy of RL Algorithms」, 분야별 핵심 논문 흐름은 같은 사이트의 「Key Papers in Deep RL」로 잡는다.
• 기초가 끝나면 도메인이나 과제 하나를 정해 프로젝트로 진행한다.
• 논문은 2차 블로그보다 원저자 자료를 본다. 어떤 문제 때문에 나왔는지, 강점과 빈틈, 「꼭 이 방법이어야 했나」를 따지며 읽는다. 공개 리뷰가 있는 학회(ICLR 등)는 리뷰를 같이 읽으면 비판적으로 보는 눈이 생긴다.

환경부터 확인한다

강화 학습에서 환경은 지도 학습의 데이터 전처리만큼 중요하다.

• 무작위 에이전트로 먼저 돌려 본다. state, action, reward, next state, done을 출력해 각 행동이 무엇이고 값이 어떤 범위인지 확인한다.
• 렌더링해서 에이전트가 실제로 어떻게 움직이는지 본다. 사람이 쉬운 환경과 에이전트가 쉬운 환경은 다르다(무작위로 움직이면 Flappy Bird는 날아가 버리고 Mountain Car는 제자리다).
• 환경을 직접 만들면 직접 플레이해 의도대로 동작하는지, 모든 상황에서 보상이 설정대로 나오는지 출력해 확인한다. 보상이 연달아 쏟아지거나 패널티가 너무 많으면 학습이 망가진다.
• 직접 만든 환경에서 학습이 안 되면 검증된 구현(Stable-Baselines3 등)을 먼저 돌려 본다. 그래도 안 되면 환경 쪽 문제일 가능성이 크다.
• 에이전트가 결정을 내리기에 충분한 상태 정보를 주고 있는지 확인한다.
• 논문 결과를 볼 때는 보상 곡선만 보지 말고, 그 환경에 유리하게 짜인 것은 아닌지, 랜덤 시드 한두 개만 골라 보여 준 것은 아닌지 따진다.

구현 공통 요령

알고리즘별 요령

실습 환경

정리

• 강화 학습은 상태·행동·보상의 상호작용으로 누적 보상을 최대화하는 정책을 배운다.
• 문제는 MDP (S, A, P, R, γ)로 정식화하고, 리턴은 감가율로 미래 보상을 깎아 더한 값이다.
• 가치 함수 V·Q는 기대 리턴이고, 벨만 방정식이 한 스텝 단위 갱신을 가능하게 한다.
• 알고리즘은 모델 기반/프리, 가치/정책 기반(+액터-크리틱), 온/오프 정책의 세 축으로 본다.
• 학습이 안 되면 알고리즘보다 환경과 보상부터 의심한다. 무작위 에이전트와 검증된 구현으로 먼저 확인한다.
• 보상 설계가 곧 문제 정의다. 보상이 엉뚱하면 에이전트는 엉뚱한 목표를 정확히 최적화한다.

관련 노트: 머신 러닝 기초: 네 단계 추상화, 멀티 에이전트, 퍼셉트론과 다층 퍼셉트론, 실시간 추천과 실험: 밴딧