LLM은 무엇을 하고 왜 작동하나

LLM이 하는 일

대규모 언어 모델(Large Language Model, LLM)이 하는 일은 하나다. 지금까지의 텍스트 뒤에 올 법한 다음 토큰의 확률 분포를 계산하고, 그중 하나를 고른다. 고른 토큰을 입력 끝에 붙이고 다시 계산한다. 긴 답변도 이 반복의 결과다.

flowchart TB
  in1["#quot;AI의 가장 좋은 점은#quot;"] --> m1["모델"] --> p1["{ 배우는: 4.5%, 예측하는: 3.5%, 만드는: 3.2%, … }"]
  p1 -->|"하나를 샘플링"| in2["#quot;AI의 가장 좋은 점은 배우는#quot;"]
  in2 --> m2["모델"] --> p2["…"]
  p2 -->|"반복"| in2

• 토큰(token) 은 단어 또는 단어 조각이다. 조각 단위라서 사전에 없는 단어도 만들어 낸다.
• 늘 1등 토큰만 고르면 글이 밋밋하고 같은 말을 되풀이한다. 그래서 확률에 따라 무작위로 고른다. 이 무작위성의 정도가 온도(temperature) 다. 0이면 늘 1등, 높을수록 낮은 순위도 자주 뽑힌다. 글쓰기에 알맞은 값(0.7~1 안팎)은 이론이 아니라 경험으로 정해졌다.
• 같은 프롬프트에 매번 다른 답이 나오는 이유가 이 샘플링이다.

모델은 파일 두 개다

공개 가중치(open weights) 모델을 내려받으면 LLM의 정체가 드러난다. Meta의 Llama 2 70B를 예로 들면 파일은 두 개다.

두 파일만 있으면 인터넷 연결 없이 노트북에서도 모델과 대화할 수 있다. 신경망 구조와 순방향 계산은 다 알려져 있고 단순하다. 마법은 매개변수 쪽에 있고, 비용도 매개변수를 얻는 데 든다. 모델을 돌리는 추론(inference)은 싸고, 매개변수를 얻는 학습(training)은 비싸다.

사전 학습은 인터넷의 손실 압축이다

Llama 2 70B의 사전 학습은 대략 이런 규모였다.

flowchart LR
  data["인터넷 텍스트 약 10TB"] -->|"GPU 약 6,000개 × 12일, 약 200만 달러"| params["매개변수 140GB<br/>(약 100배 압축, 손실 압축)"]

zip 파일과 달리 원문을 그대로 복원할 수 없는 손실 압축이다. 매개변수에는 학습한 글의 「게슈탈트」, 즉 전체적인 모양과 지식이 남는다. 최첨단 모델은 이 숫자들보다 10배 이상 크고, 학습 한 번에 수천만~수억 달러가 든다.

다음 단어 예측과 압축은 수학적으로 가깝다. 다음 단어를 잘 맞히면 데이터를 잘 압축할 수 있다. 다음 단어 예측은 단순해 보이지만 강력한 목표다. 위키백과의 인물 문서에서 다음 단어를 맞히려면 그 사람이 언제 태어나 무엇을 했는지 알아야 한다. 예측하려면 세상을 배워야 하고, 그 지식이 가중치에 압축된다.

모델은 인터넷 문서를 꿈꾼다

사전 학습만 마친 모델을 그대로 돌리면 학습한 분포를 흉내 낸 「웹 페이지 꿈」을 꾼다. Java 코드처럼 보이는 글, 아마존 상품 페이지처럼 보이는 글, 위키백과 문서처럼 보이는 글이 나온다.

• 상품 페이지의 ISBN은 거의 확실히 존재하지 않는 번호다. 모델은 「ISBN: 뒤에는 이 정도 길이의 숫자가 온다」는 형식만 알고 그럴듯한 숫자를 채운다.
• 물고기 blacknose dace에 대한 위키백과풍 글은 학습 데이터에 그대로 있던 문장이 아닌데도 내용은 대체로 맞다. 모델은 형식을 만들고 그 안을 기억하는 지식으로 채운다.

어디까지가 기억이고 어디부터가 지어낸 것인지 모델 출력만으로는 알 수 없다. 이것이 환각(hallucination)의 뿌리다.

무엇을 하는지는 모른다

트랜스포머 구조와 각 단계의 수학 연산은 완전히 알려져 있다. 우리가 아는 것은 다음 단어 예측이 나아지도록 수천억 개의 가중치를 조금씩 고치는 법뿐이다. 가중치들이 서로 어떻게 협력해 답을 내는지는 모른다.

모델 안의 지식도 이상하다. 역전 저주(reversal curse)가 대표적이다. GPT-4에게 「톰 크루즈의 어머니는?」이라고 물으면 메리 리 파이퍼라고 맞히지만, 「메리 리 파이퍼의 아들은?」이라고 물으면 모른다고 했다. 지식이 어느 방향에서든 꺼낼 수 있게 저장된 것이 아니라 한 방향으로만 접근되는 셈이다.

그래서 LLM은 부품을 다 이해하는 자동차 같은 공학 산물이 아니라, 긴 최적화에서 나온 대체로 해석하기 어려운 경험적 산물로 다룬다. 내부를 들여다보려는 분야(기계적 해석 가능성, mechanistic interpretability)가 있지만 아직 일부만 설명한다. 입력을 주고 출력을 측정하는 수밖에 없으니, 그만큼 정교한 평가가 필요하다(평가 주도 개발).

확률은 어디서 오나: 세어서는 안 된다

가장 단순한 방법은 실제 텍스트에서 단어 조합의 빈도를 세는 것이다(n-gram). 하지만 조합이 폭발한다.

인류가 쓴 텍스트를 다 모아도 대부분의 조합은 한 번도 등장하지 않는다. 그래서 본 적 없는 조합의 확률까지 추정하는 모델이 필요하다. 그 모델이 신경망이다. 모델은 모든 경우를 저장하지 않고, 조절 가능한 매개변수(parameter, 가중치)를 가진 계산 절차로 답을 만든다. GPT-3는 이런 가중치가 1,750억 개였다.

신경망과 학습

신경망의 뉴런은 입력의 가중합에 편향을 더하고 활성화 함수(ReLU 등)를 통과시킨다. 기초는 퍼셉트론과 다층 퍼셉트론에 있다.

• 경사 하강법은 안개 낀 산에서 내려오는 등산객에 비유된다. 주변만 보이므로 지금 선 자리에서 가장 가파르게 내려가는 쪽으로 걷는다. 경사계로 기울기를 잴 수는 있지만 한 번 재는 데 시간이 걸리고 해 지기 전에 내려가야 하니, 얼마나 자주 멈춰 잴지를 정해야 한다. 한 번에 얼마나 걸을지가 학습률에 해당한다.
• 정답의 기준은 사람의 판단이다. 흐려진 숫자 「2」를 언제까지 2로 볼지는 수학이 아니라 사람이 정한다. 좋은 모델은 사람과 같은 지점에서 헷갈린다.
• 큰 신경망이 오히려 학습하기 쉽다. 가중치가 많으면 국소 최솟값에 갇힐 길이 적다. 이것이 2010년대 딥러닝 도약의 열쇠였다.
• 사람이 단계를 나눠 설계한 파이프라인보다 입력부터 출력까지 통째로 학습(end-to-end) 하는 편이 대체로 낫다.
• 언어 모델은 레이블이 필요 없다. 텍스트 뒷부분을 가리고 맞히게 하면 그 자체가 학습 데이터다(자기 지도 학습).

임베딩: 의미를 좌표로

임베딩(embedding)은 대상을 숫자 배열로 바꿔 뜻이 가까우면 좌표도 가깝게 놓는 표현이다. 「악어」와 「크로커다일」은 가깝고 「순무」와 「독수리」는 멀다. 「the ___ cat」의 빈칸을 맞히도록 학습하면 비슷한 자리에 오는 단어끼리 비슷한 벡터를 얻는다. 원-핫·TF-IDF에서 임베딩으로 이어진 흐름은 자연어 처리 파이프라인에 있다.

LLM 안에서는 단어 하나가 아니라 지금까지의 텍스트 전체가 하나의 임베딩으로 바뀌고, 다음 토큰은 그 임베딩에서 나온다.

트랜스포머 내부

GPT 계열 LLM은 트랜스포머(transformer)의 디코더 구조다. 토큰 하나를 만들 때 데이터는 세 단계를 한 방향으로 지난다.

flowchart TB
  tok["토큰 열"]
  att["어텐션 블록 × N<br/>각 블록: 멀티헤드 어텐션 + 피드포워드 층"]
  dec["③ 디코딩: 마지막 임베딩 → 어휘 전체(수만 개 토큰)의 확률"]
  tok -->|"① 임베딩: 토큰 임베딩 + 위치 임베딩을 더한다"| att
  att -->|"② 앞쪽 토큰들 중 무엇을 얼마나 참고할지 가중치를 매겨 섞는다"| dec

• 어텐션(attention) 이 핵심이다. 멀리 떨어진 앞 단어(예: 문장 처음의 주어)도 직접 참고해 다음 토큰을 정한다.
• 토큰 하나마다 모든 가중치를 한 번씩 쓴다. 가중치가 1,750억 개면 토큰당 연산도 그만큼이다.
• 네트워크 안에는 루프가 없다. 유일한 반복은 바깥 루프, 즉 만든 토큰을 다시 입력에 붙이는 것뿐이다.
• 이 계산을 수많은 사용자에게 돌릴 때 생기는 KV 캐시·배치·GPU 메모리 문제는 LLM 서빙의 병목에 있다.

학습 단계

사람 피드백 강화 학습의 기본 틀은 강화 학습과 같다.

기본 모델에서 어시스턴트로

사전 학습의 결과는 기본 모델(base model)이다. 문서를 이어 쓸 뿐이라 질문을 주면 답 대신 질문을 더 늘어놓기도 한다. 어시스턴트 모델은 학습 방식(다음 단어 예측)은 그대로 두고 데이터만 바꿔 얻는다.

• 미세 조정 데이터는 회사가 만든 라벨링 지침을 보고 사람이 쓴다. 「도움이 되고, 진실하고, 해롭지 않게」로 시작해 수십~수백 쪽으로 늘어난다.
• 학습 데이터에 없던 질문에도 어시스턴트 말투로 답하면서 사전 학습의 지식은 그대로 쓴다. 왜 이렇게 잘 되는지는 경험적으로만 안다.
• 배포 후 잘못된 응답을 모아 사람이 올바른 답으로 고쳐 쓰고, 그것을 다음 미세 조정 데이터에 넣는 식으로 반복한다.
• 답을 쓰기보다 비교하기가 쉽다. 종이 클립에 대한 하이쿠를 직접 쓰기는 어렵지만, 모델이 쓴 하이쿠 몇 편 중 나은 것을 고르기는 쉽다. 이 비교 라벨로 한 번 더 학습하는 것이 RLHF다.
• 라벨링도 점점 사람과 모델의 협업이 된다. 모델이 답안을 뽑고 사람이 좋은 부분을 고르거나, 모델이 검토하고 사람은 감독만 한다.

Llama 2처럼 기본 모델과 어시스턴트 모델을 함께 공개하면, 가장 비싼 사전 학습을 남이 해 준 셈이라 직접 미세 조정할 자유가 생긴다.

스케일링 법칙

다음 단어 예측의 정확도는 놀랍게도 두 변수, 매개변수 수(N)와 학습 텍스트 양(D)의 매끄럽고 예측 가능한 함수다. 더 큰 모델을 더 많은 텍스트로 학습하면 나아진다고 꽤 확신할 수 있고, 강연 시점(2023년)에는 꺾이는 기미가 보이지 않았다. 실제로 신경 쓰는 여러 평가 점수도 이 정확도를 따라 오른다. 알고리즘 발전은 보너스이고, 더 큰 컴퓨터가 보장된 길이라는 믿음이 GPU 확보 경쟁을 이끈다. 이 믿음이 조직의 결정에 어떻게 작용했는지는 스케일과 지능 유틸리티에 있다.

모델 간 순위는 LMArena(옛 Chatbot Arena) 같은 리더보드가 매긴다. 사용자가 이름을 가린 두 모델의 답 중 나은 것을 고르면, 체스처럼 Elo 점수를 계산한다. 대체로 비공개 모델이 앞서고 공개 가중치 모델이 뒤쫓는다.

RLHF의 세 단계

사후 학습의 고전적인 틀(InstructGPT·초기 ChatGPT)은 세 단계다.

flowchart TB
  A["① 지도 미세 조정(SFT)<br/>질문 → 모범 답변 쌍으로 기본 모델을 미세 조정"] --> B
  B["② 보상 모델 학습<br/>같은 질문에 대한 여러 답을 사람이 좋은 순서로 매김 → 그 순위를 맞히는 보상 모델"] --> C
  C["③ 강화 학습<br/>모델이 답을 쓰면 보상 모델이 점수를 매기고, 점수가 오르도록 정책을 갱신(PPO)"]

PPO(Proximal Policy Optimization)는 정책을 한 번에 너무 많이 바꾸지 않게 제한하는 강화 학습 알고리즘이다(강화 학습). 지금은 선호 쌍에서 바로 학습하는 DPO처럼 보상 모델을 따로 두지 않는 방법도 함께 쓴다.

효율을 높이는 설계: MoE와 GRPO

공개 가중치 추론 모델(DeepSeek-R1 등)이 널리 알린 두 기법이 있다.

GRPO처럼 검증 가능한 보상으로 강화 학습을 크게 돌리면, 사람이 쓴 사고 과정 예시 없이도 모델이 긴 추론을 스스로 익힌다. 아래 「자기 개선」의 2단계에 해당한다.

서비스로 감싸기: 모더레이션

챗봇 서비스는 모델 하나가 아니다. 모델 앞뒤로 안전 장치를 둔다.

flowchart LR
  user["사용자 입력"] --> inmod["입력 모더레이션"]
  inmod -->|"통과"| model["모델"]
  model --> outmod["출력 모더레이션"]
  outmod -->|"통과"| out["사용자"]
  inmod -->|"위반"| refuse["정해 둔 거절·안내 응답"]
  outmod -->|"위반"| refuse

• 입력 쪽은 정책 위반 요청을 걸러 모델까지 보내지 않는다.
• 출력 쪽은 생성된 답이 유해·편향·민감 정보를 담지 않았는지 다시 검사한다.
• 걸리면 모델 답 대신 미리 정해 둔 템플릿 응답을 보여 준다.

모더레이션 분류기만으로는 우회 공격을 다 막지 못한다. 공격 유형과 방어는 LLM 보안 공격에 있다.

왜 작동하나

LLM이 그럴듯한 글을 쓴다는 사실은 기술보다 언어에 대해 더 많은 것을 말해 준다. 사람의 언어와 그 밑의 사고는 생각보다 규칙적이고 계산적으로 얕다. 에세이 쓰기는 어려워 보였지만, 신경망이 통계적 규칙성만으로 재현할 수 있을 만큼의 구조였다.

• 문법(syntax): 품사가 어떻게 조합되는지의 규칙. 명시적으로 가르치지 않아도 학습된다.
• 의미 공간(meaning space): 글을 쓰는 일은 임베딩 공간 위에서 경로를 그리는 일로 볼 수 있다. 다만 그 경로를 지배하는 단순한 「의미의 운동 법칙」은 아직 발견되지 않았다.
• 의미 문법(semantic grammar): 문법적으로 맞을 뿐 아니라 뜻이 통하는 조합의 규칙. LLM은 이를 암묵적으로 익혔지만, 명시적으로 형식화하면 더 투명하고 검증 가능한 시스템을 만들 수 있다.

한계: 계산 환원 불가능성

어떤 계산은 단계를 하나하나 밟는 것 말고는 지름길이 없다. 이것을 계산 환원 불가능성(computational irreducibility) 이라 한다. 학습은 데이터의 규칙성을 압축하는 일인데, 환원 불가능한 계산에는 압축할 규칙성이 없다.

학습 가능성과 계산 능력은 맞바꾸는 관계다. 진짜 계산을 많이 하는 시스템일수록 학습하기 어렵다.

한계를 넘는 방법

토큰 하나당 계산 깊이는 고정이지만, 바깥 루프는 무한히 돌 수 있다. 추론 모델은 이 점을 이용한다.

이것은 『생각에 관한 생각』의 시스템 1·시스템 2로 설명된다. 2+2처럼 바로 튀어나오는 답은 시스템 1, 17×24처럼 따져 봐야 하는 답은 시스템 2다. 토큰마다 같은 시간을 들여 「칙칙폭폭」 내놓는 LLM은 시스템 1뿐이다. 바라는 것은 시간을 정확도로 바꾸는 것, 즉 「30분 걸려도 되니 생각하고 답해」가 통하는 모델이다. 2024년 이후 답하기 전에 긴 사고 과정을 거치는 추론 모델이 이것을 실현했다.

자기 개선: 알파고의 2단계

알파고는 두 단계로 컸다. 먼저 사람 고수의 기보를 흉내 냈고, 이것으로는 최고의 사람을 넘을 수 없었다. 다음으로 「이겼나」라는 싸고 자동으로 판정되는 보상으로 수백만 판을 스스로 두어 최고 기사들을 넘었다. 뒤이은 알파고 제로는 기보 모방 없이 자기 대국만으로 배워, 40일 만에 알파고 마스터를 넘었다. 사람 라벨러를 흉내 내는 LLM 학습은 1단계에 해당한다.

일반적인 언어 과제에는 이런 보상 함수가 없다. 무엇이 좋은 답인지 빠르고 자동으로 판정할 기준이 없어서다. 그래서 자기 개선은 좁은 분야부터 된다. 수학 정답 확인, 코드 테스트 통과처럼 검증 가능한 보상이 있는 분야에서 강화 학습이 추론 모델을 키웠다.

맞춤화와 LLM 운영체제

경제에는 온갖 틈새 작업이 있으므로, 하나의 모델 대신 작업별 전문가 모델이 필요해진다. 지시문 맞춤, 파일을 올려 참고하게 하는 RAG, 미세 조정이 그 수단이다.

이 모두를 묶으면 LLM은 챗봇이 아니라 새 운영체제의 커널처럼 보인다. 텍스트를 읽고 쓰고, 검색하고, 도구를 부르고, 보고 듣고 말하며, 오래 생각한다. 컨텍스트 창은 RAM이고, 커널은 필요한 정보를 컨텍스트 창에 들이고 내보낸다. Windows·macOS 옆에 Linux 생태계가 있듯 비공개 모델 옆에 공개 가중치 생태계가 있다. 자세한 대응표는 프롬프트에서 하네스로에 있고, 이 새 스택에 따라온 보안 문제는 LLM 보안 공격에 있다.

LLM은 "무엇이 자연스러운가"에 강하고, 도구는 "무엇이 참인가"에 강하다. 둘을 묶는 것이 에이전트 설계의 기본 발상이다. 에이전트가 스스로 도는 구조는 루프 엔지니어링에 있다.

역사: 규칙에서 트랜스포머까지

정리

• LLM은 다음 토큰의 확률을 계산해 하나씩 고르는 반복이다. 온도가 무작위성을 정한다.
• 확률은 빈도를 세서 얻을 수 없어서, 본 적 없는 조합까지 일반화하는 신경망으로 추정한다.
• 내부는 임베딩 → 어텐션 블록 × N → 어휘 확률의 순방향 흐름이고, 루프는 바깥에만 있다.
• 모델은 매개변수 파일과 실행 코드 두 개다. 사전 학습은 인터넷의 손실 압축이고, 그래서 환각이 생긴다.
• 사전 학습으로 지식과 언어의 규칙성을, 사후 학습으로 사람이 원하는 행동을 익힌다. 답을 쓰기보다 비교하기가 쉬워 RLHF가 통한다.
• 성능은 매개변수 수와 데이터 양의 예측 가능한 함수다(스케일링 법칙).
• 계산적으로 깊은 일은 못 하므로 사고 연쇄와 도구로 바깥에서 계산을 보탠다. LLM이 작동한다는 사실은 언어가 생각보다 단순하다는 증거다.

관련 노트: 자연어 처리 파이프라인, 퍼셉트론과 다층 퍼셉트론, 머신 러닝 기초: 네 단계 추상화, AI 시대 개발자의 역할, LLM 서빙의 병목: KV 캐시, 배치, GPU, LLM 보안 공격: 탈옥, 프롬프트 인젝션, 데이터 중독