지능형 튜터링 시스템과 베이지안 지식 추적

정보가 있다고 배우는 것은 아니다

라디오, 텔레비전, 영상, 대규모 온라인 공개 강좌(MOOC)는 나올 때마다 교육을 뒤집을 것이라 기대를 모았지만 학교를 대체하지 못했다. 영상으로 지식을 퍼뜨리는 일은 쉬워졌어도, 학습자 수천만 명에게 강사 몇 명으로는 학습에 필요한 것을 주기 어렵기 때문이다.

규모가 커질 때의 문제	사람과 기술을 섞은 해법
제때 맞는 피드백을 줄 수 없다	학습자끼리 피드백(동료 평가)하게 하고, 알고리즘으로 서로 도움이 될 짝을 맺어 준다
과제 수백만 개를 채점할 수 없다	객관식·코드·글쓰기 일부를 자동 채점하고 나머지를 사람이 맡는다
모두에게 같은 순서로 가르친다	학습자가 아는 것과 모르는 것을 추정해 개인화한다 → 지능형 튜터링 시스템

지능형 튜터링 시스템이란

지능형 튜터링 시스템(intelligent tutoring system, ITS)은 학습자가 무엇을 알고 모르는지 파악해, 이미 잘하는 것이 아니라 가장 어려워하는 것을 알맞은 때에 연습시키는 교육 소프트웨어다. 추천 시스템이 볼 영화를 고르듯 풀 문제를 고른다(추천 시스템).

flowchart TB
  step["학습자의 한 단계 풀이"] --> dom["도메인 모델"]
  dom -->|"어떤 규칙(올바른 규칙 / 버그 규칙)으로 이 답이 나왔나?"| fb["맞춤 피드백"]
  dom --> stu["학생 모델<br/>기술별 숙달 확률을 갱신 (베이지안 지식 추적)"]
  stu --> nxt["다음 문제 고르기 (적응형 순서)"]
  nxt -->|"숙달할 때까지 반복"| step

도메인 모델: 생성 규칙과 버그 규칙

3x + 7 = 22를 푸는 학생의 올바른 다음 단계는 양변에서 7을 빼는 것이다. 이 단계에 필요한 지식을 생성 규칙(production rule), 즉 IF-THEN 문으로 적는다.

IF   변수와 같은 쪽에 상수가 있다
THEN 양변에서 그 상수를 뺀다

생성 규칙으로는 흔한 실수도 적을 수 있다. 이를 버그 규칙(buggy rule) 이라 한다. 상수 7 대신 계수 3을 빼는 실수가 예다.

학생의 한 단계에 여러 규칙이 동시에 들어맞을 수 있어서, 어떤 오개념 때문에 그 답이 나왔는지 분명하지 않을 때가 많다. 그래서 규칙들 가운데 가장 그럴듯한 것을 고르는 알고리즘을 함께 둔다. 그래야 「계수가 아니라 상수를 옮겨야 한다」 같은 정확한 피드백을 줄 수 있다. 생성 규칙과 선택 알고리즘을 합친 것이 도메인 모델(domain model), 즉 대수 같은 한 분야의 지식·절차·기술을 형식적으로 표현한 것이다.

학생 모델과 베이지안 지식 추적

도메인 모델은 문제 하나를 돕지만, 시간에 따른 진도를 기억하지 않아 교육 과정 전체를 이끌지는 못한다. 그래서 ITS는 학생 모델(student model) 에 학생이 어떤 규칙을 숙달했고 어디서 연습이 더 필요한지 기록한다.

어려운 점은 학생의 지식이 잠재 변수(latent variable), 즉 밖에서는 참값을 볼 수 없는 변수라는 것이다. 교사도 학생이 정말 아는지 확신하지 못해 시험으로 떠볼 뿐이다. 베이지안 지식 추적(Bayesian knowledge tracing, BKT) 은 기술마다 숙달 확률을 두고, 그 기술을 쓴 문제의 정답·오답을 볼 때마다 베이즈 정리로 갱신한다.

확률	뜻
P(L) 숙달	학생이 이 기술을 이미 익혔을 확률. 처음 값이 사전 확률 P(L₀)
P(G) 추측(guess)	모르는데 우연히 맞힐 확률
P(S) 실수(slip)	아는데 부주의로 틀릴 확률
P(T) 전이(transit)	모르고 시작했다가 이 문제를 풀면서 익히게 될 확률

갱신은 두 단계다. 먼저 관찰한 답으로 「풀기 전에 이미 알고 있었을」 확률을 고친다. 정답이면 추측 가능성을, 오답이면 실수 가능성을 감안한다.

정답을 봤을 때:  P(L | 정답) = P(L)·(1−S) / [ P(L)·(1−S) + (1−P(L))·G ]
오답을 봤을 때:  P(L | 오답) = P(L)·S     / [ P(L)·S     + (1−P(L))·(1−G) ]
 
그다음 이번 문제로 배웠을 가능성을 더한다:
  P(L)새 = P(L | 관찰) + (1 − P(L | 관찰))·T

예를 들어 P(L)=0.4, G=0.2, S=0.1, T=0.15에서 정답을 맞히면 0.36 / (0.36 + 0.12) = 0.75가 되고, 전이를 더하면 0.75 + 0.25 × 0.15 ≈ 0.79가 된다. 맞힐 때마다 오르지만, 추측 확률이 높은 문제일수록 한 번의 정답이 주는 증거는 약하다.

숙달 학습과 적응형 순서

숙달 학습(mastery learning): 기술을 깊이 이해할 때까지 연습시킨다. BKT를 쓰는 시스템은 보통 숙달 확률이 0.95 같은 기준을 넘으면 그 기술을 숙달로 본다.
적응형 순서(adaptive sequencing): 숙달에 가장 빨리 닿도록 다음 문제를 고른다. 개인화의 한 형태다.

교육 데이터 마이닝

인터넷에 연결된 학습 앱은 수백만 명의 데이터를 모은다. 정답·오답뿐 아니라 답하기 전에 얼마나 머뭇거렸나, 영상의 어디를 빨리 감았나, 토론 게시판에서 어떻게 소통했나까지 본다. 이 데이터에서 흔한 함정과 학습자가 좌절하는 지점을 찾아 다음 개인화에 반영하는 분야가 교육 데이터 마이닝(educational data mining)이다.

대화하는 튜터

교육 기술 연구자들은 오래전부터 학습자와 자연어로 대화하며 무엇을 알고 어떤 기분인지 알아채고, 함께 자라며 코치·교사·멘토 역할을 하는 가상 에이전트를 목표로 삼아 왔다. 사람 사이 대화의 언어·몸짓을 흉내 내 신뢰와 친밀감을 쌓는 교육용 가상 에이전트(pedagogical agent) 연구가 그 흐름이다.

LLM이 나오면서 이 목표는 제품이 됐다. 칸 아카데미의 Khanmigo(2023)처럼 답을 바로 주지 않고 질문으로 이끄는 소크라테스식 튜터가 대표적이다. LLM 튜터는 어떤 과목이든 자연어로 대화할 수 있지만, 생성 규칙 기반 ITS와 달리 학생이 무엇을 숙달했는지 명시적으로 추적하지 않으면 같은 설명을 반복하거나 그럴듯하게 틀린 풀이를 줄 수 있다. 그래서 대화는 LLM이 맡고, 숙달 추적과 문제 선택은 학생 모델이 맡는 식으로 섞어 쓴다.

정리

정보의 양이 아니라 제때 맞는 피드백이 학습을 만든다. 규모를 키우면 그 피드백이 먼저 부족해진다.
ITS의 도메인 모델은 올바른 풀이와 흔한 실수를 IF-THEN 생성 규칙으로 적고, 학생 답에 가장 그럴듯한 규칙을 골라 피드백한다.
학생 모델은 기술별 숙달 확률을 기록하고, BKT는 숙달·추측·실수·전이 네 확률로 정답·오답마다 이를 갱신한다.
숙달 확률이 기준을 넘을 때까지 연습시키고(숙달 학습), 다음 문제를 골라 숙달을 앞당긴다(적응형 순서).
대화는 LLM이 잘하지만, 「이 학생이 무엇을 아는가」를 추적하는 모델이 있어야 튜터가 된다.

버그 제보