딥러닝 직관으로 이해하기: 신경망으로 숫자에서 패턴 찾기

한 문장: 신경망으로 숫자에서 패턴 찾기

번역, 바둑, 날씨 예측, 암세포 찾기, 자율 주행, 작곡, 그림 그리기까지 지금 인공지능이 하는 일은 모두 한 문장으로 설명된다.

낱말	뜻
숫자	컴퓨터가 다루는 모든 것. 입력도 출력도 숫자다
패턴	세상에서 반복되는 규칙. 「이런 상황이면 이렇게 된다」
신경망	숫자를 곱하고 더하는 구조. 그 안의 숫자(가중치)를 학습으로 찾으면 패턴을 담게 된다

숫자: 컴퓨터에서는 모든 것이 숫자다

컴퓨터는 계산기다. 메모리는 숫자를 보관하고, CPU는 숫자를 계산하고, 통신은 숫자를 보낸다. 사진·영상·음악·문서를 열어 보면 0과 1뿐이다.

대상	숫자가 되는 방식
화면	작은 전구(픽셀)마다 빨강·초록·파랑(RGB)의 밝기를 0~1 사이 숫자로 준다. 빛은 섞을수록 밝아져(가산 혼합) 셋 다 켜면 흰색이다. 1초에 이 숫자 묶음을 60번 보내면 60fps 영상이다
소리	소리는 공기의 떨림(음파)이다. LP는 그 떨림을 홈으로 새기고(아날로그), 디지털은 1초를 잘게 쪼개 각 순간의 높이를 숫자로 적는다. CD는 1초를 44,100번(44.1kHz) 쪼갠다
압축	영상은 앞 프레임과의 차이만, MP3는 사람이 듣지 못하는 주파수를 버리고 저장한다. 많이 줄일수록 파일은 작아지고 품질은 떨어진다
바둑판	19 × 19 = 361칸에 흑 1, 백 -1, 빈칸 0을 적으면 숫자 361개다
운전	입력은 카메라 영상(숫자), 출력은 핸들 각도와 브레이크를 밟을지(숫자)

그래서 모든 문제는 숫자가 들어와서 숫자가 나가는 문제로 바뀐다. 데이터를 숫자로 바꾸는 일 자체는 머신 러닝 기초의 특징화(featurization)에 해당한다.

패턴: 세상은 패턴으로 설명된다

공을 놓으면 떨어져 튄다. 콩 심은 데 콩 난다. 화음은 듣기 좋고 불협화음은 거슬린다. 경험으로 아는 이런 규칙이 패턴이다. 정리해서 수식으로 쓰면 물리 법칙이 되고, 바둑에서는 정석이 된다.

패턴을 알면 미래를 예측할 수 있다. 오늘의 기압·온도·바람(숫자)에서 내일 비 올 확률(숫자)을 낸다. 과거에서 찾은 패턴으로 예측하므로 AI의 답은 100%가 아니라 확률로 나온다.

문제는 사람이 감으로는 알지만 규칙으로 적을 수 없는 패턴이 대부분이라는 것이다.

「그때는 ( )가 울면서 밥을 먹었다」의 괄호에 사람·아이는 들어가고 컴퓨터는 안 들어간다는 걸 누구나 알지만, 그 이유를 법칙으로 다 적을 수는 없다.
고양이를 「수염이 있다」로 정의하면 수염 있는 다른 동물이 걸리고, 수염 잘린 고양이는 빠진다. 수염은 필요조건도 충분조건도 아니다. 세 살 아이는 고양이를 알아보지만 그 판단을 말로 설명하지 못한다.
손글씨 숫자 3과 2의 구분, 사진에서 책과 배경의 경계도 마찬가지다.

프로그래밍과 학습의 차이

프로그래밍: 사람이 순서도(규칙)를 다 적는다

flowchart LR
  pi["입력 숫자"] --> pr["[사람이 짠 규칙]"] --> po["출력 숫자"]

딥러닝: 구조만 두고 숫자를 학습으로 찾는다

flowchart LR
  di["입력 숫자"] --> dr["[× w, +, ×w, + ...]"] --> do1["출력 숫자"]

프로그래밍은 모든 상황에 대한 규칙을 사람이 빠짐없이 적는 일이다. 한 줄만 틀려도 버그가 된다. 규칙으로 적을 수 있는 계산기·문서 편집기는 이 방식으로 만들었지만, 고양이 판별기·숫자 인식기·자율 주행은 순서도를 그릴 수 없어 만들지 못했다.

딥러닝은 순서도 대신 정해진 구조를 쓴다.

입력 숫자마다 화살표가 나가고, 화살표마다 숫자(가중치)를 곱한다.
한 동그라미로 모인 값을 더한다.
0보다 작으면 0, 크면 그대로 내보낸다(ReLU 활성화).
이것을 층층이 반복한다. 마지막에 나온 숫자가 답이다(핸들 30도, 고양이일 확률 0.8).

곱하기·더하기·0과 비교하기라는 구조는 고정돼 있고, 바꿀 수 있는 것은 가중치뿐이다. 학습이란 데이터를 보며 이 가중치를 찾는 일이다. 같은 구조에 다른 가중치를 넣으면 번역기도, 바둑 기사도, 자율 주행기도 된다. 이것이 왜 되는지 수학적으로 증명된 것은 아니다. 「될 것 같아서 해 봤더니 됐다」에 가깝다. 구조와 학습 원리의 수식은 퍼셉트론과 다층 퍼셉트론에 있다.

파라미터: 가중치의 다른 이름. 「파라미터 1,750억 개」는 학습으로 정해진 곱셈 숫자가 그만큼이라는 뜻이다.
데이터 품질: 틀린 데이터가 조금 섞여도 사람이 오타를 보고 무시하듯 크게 흔들리지 않는다. 틀린 데이터가 맞는 데이터보다 많아지면 틀린 패턴을 배운다.

구조는 감으로, 그 감도 학습으로

층을 몇 개 둘지, 각 층에 동그라미를 몇 개 둘지, 화살표를 어떻게 이을지는 정답이 없다. 「소금을 얼마나 넣을까」처럼 감으로 정하고 해 본다. 1층에서 5층으로 건너뛰는 화살표를 이어 봤더니 잘 되더라(건너뛰기 연결, skip connection) 같은 발견도 이런 식이다. 감 역시 패턴이니, 신경망의 구조를 신경망이 찾게도 한다(신경망 구조 탐색).

층이 쌓이며 보는 것

고양이 판별기를 만든 뒤 거꾸로, 어떤 그림을 넣을 때 어느 동그라미가 0보다 커지는지(활성화되는지) 살펴보면 층마다 보는 것이 다르다.

flowchart TB
  l1["앞쪽 층<br/>직선인가 곡선인가, 선의 기울기"]
  l2["선을 모은 모양: 원, 네모"]
  l3["모양을 모은 부분: 눈, 다리"]
  l4["뒤쪽 층<br/>부분을 모은 판단: 고양이, 사람, 브레이크를 밟을 상황"]
  l1 --> l2 --> l3 --> l4

이렇게 만들려고 설계한 것이 아니라, 학습시킨 뒤 분석해 보니 그렇게 돼 있었다. 1960년대 고양이 뇌에 전극을 꽂아 시각 피질이 선의 방향부터 인식한다는 것을 밝혀 노벨상을 받은 연구(허블과 비셀)와 닮아 있다.

왜 「이유는 모른다」고 하나

계산 과정은 모두 보인다. 어떤 숫자를 곱하고 더했는지 다 알 수 있다. 모르는 것은 그 수천억 개의 곱셈이 각각 무슨 의미인지다. 그래서 뇌를 fMRI로 찍듯, 입력을 바꿔 가며 어느 부분이 언제 활성화되는지 관찰해 의미를 거꾸로 추정한다. 파라미터가 많을수록 더 정교해지지만 사람이 이해하기는 더 어려워진다. 이 분석을 다루는 분야가 해석 가능성(interpretability)이다.

다음 것을 맞히면 만든다

생성도 같은 구조다. 출력에 「다음」을 두면 된다.

입력	출력	결과
지금까지의 단어들	다음 단어	말하는 기계(언어 모델, LLM은 무엇을 하고 왜 작동하나)
앞 10초의 악보	다음 음표	작곡
「아보카도 모양의 안락의자」라는 글	그림	세상에 없던 이미지
글자 나열	멜 스펙트로그램 → 파형	책 읽어 주는 음성 합성(Tacotron 계열)
인물 사진	같은 인물의 웹툰 그림체	사용자 얼굴을 웹툰 캐릭터로 바꾸는 서비스

수많은 그림과 글을 보며 학습했을 뿐인데 대칭·균형·물리 법칙을 지키는 그림을 내놓는다. 겉으로는 논리력과 창의력이 있는 것처럼 보이지만, 안에서 일어나는 일은 여전히 곱하기와 더하기다.

사진을 웹툰으로 바꾸는 데 쓰인 GAN(생성적 적대 신경망) 은 두 신경망을 경쟁시킨다. 생성자는 진짜 같은 가짜를 만들고, 판별자는 진짜와 가짜를 가려낸다. 생성자는 판별자를 속이지 못한 만큼, 판별자는 속은 만큼 고친다. 이 경쟁이 반복되면 생성자의 결과물이 진짜와 구별하기 어려워진다. 네이버 웹툰은 2018년 웹툰 「마주쳤다」에서 독자 사진을 작품 그림체로 바꿔 넣어, 연구용이던 GAN을 많은 사용자가 쓰는 서비스에 올렸다. 이미지 생성의 주류는 이후 확산 모델로 옮겨 갔다.

여러 기술을 엮은 사례

사례	엮은 기술
전화 예약 비서(Google Duplex, 2018)	「화요일 오전에 미용실 예약해 줘」라는 말에 직접 전화를 건다. 음성 인식 → 대화를 이어 가는 언어 모델 → 음성 합성이 실시간으로 돌고, 「음흠」 같은 맞장구까지 넣어 상대가 기계인 줄 모를 정도였다. 그래서 AI가 전화를 걸 때 스스로 밝혀야 한다는 논의도 함께 나왔다
자율 주행	카메라 영상에서 차선·차량·보행자를 인식하고, 길가에 사람이 보이면 순간적으로 감속한다. 인지(비전)와 판단(제어)이 이어진다
영상·사진 복원	흑백 사진 컬러화, 8×8 저해상도 얼굴의 고해상도 복원(초해상도)
사람 이해	영상만으로 여러 사람의 관절 위치를 실시간 추정(자세 추정), 사진을 영역별로 설명하는 문장 생성(캡셔닝), 입술 모양 읽기
스타일과 생성	화가의 화풍 입히기(스타일 전이), 낮 사진을 밤으로, 스케치를 사실적인 사진으로 바꾸기, 손글씨·음악·코드 생성

강화 학습: 보상만 주고 스스로 찾게 한다

정답을 알려 주지 않고 점수만 주는 학습이다.

flowchart LR
  agent["에이전트(신경망)"] -->|"행동(숫자)"| env["환경(게임기·시뮬레이터)"]
  env -->|"상태(숫자) + 보상(숫자)"| agent

벽돌 깨기: 화면과 점수만 주고 규칙은 하나도 알려 주지 않았다. 처음엔 아무렇게나 움직이다, 2시간 학습하자 사람만큼 하고, 더 학습하자 벽 옆에 터널을 뚫어 공을 위로 올려 보내는 전략을 스스로 찾았다. 개발자가 시키지 않은 방법이다. 사람이 규칙을 적지 않아도 전략이 나온다는 점에서 프로그래밍의 상식을 깬다.
그네 타는 로봇: 처음엔 흔들리기만 하다가 점점 높이 올라가고, 결국 사람과 다른 방식(앞뒤로 두 번씩 무릎을 굽히기)을 찾아낸다.
바둑이 어려운 이유: 그네는 행동할 때마다 높이라는 보상이 오지만, 바둑은 수백 수를 둔 뒤에야 이겼다(+1) 졌다(-1)가 한 번 온다. 보상이 드물수록 어렵다.
자기 대국: 무작위 가중치의 에이전트 둘을 붙이고, 이긴 쪽 가중치를 조금씩 바꿔 다시 붙이기를 반복한다.

용어와 알고리즘 분류는 강화 학습에 있다.

알파고에서 알파제로로: 사람의 지식을 뺄수록

단계	사람의 개입
알파고	사람의 기보로 먼저 학습하고, 「축」 같은 바둑 개념을 입력으로 넣었다
알파고 제로·알파제로	기보도 개념도 주지 않는다. 규칙만 주고 무작위에서 자기 대국으로 출발한다

사람이 주입하던 패턴을 뺄수록 학습이 빨라지고 최종 수준도 높아졌다. 사람의 패턴에는 편견도 섞여 있기 때문이다. 알파고 이후 「이렇게 두면 안 된다」던 바둑 격언 몇이 깨졌다. 높이뛰기에서 누군가 배면뛰기를 발견하자 모두가 따라 했듯, 고정관념 없는 탐색이 새 패턴을 찾는다. 알파고와 알파스타(스타크래프트)는 구조와 가중치는 다르지만 학습 원리는 같다.

강화 학습의 한계는 시뮬레이터다. 바둑과 게임은 환경이 완벽하게 정의돼 있어 무작위 행동을 마음껏 해 볼 수 있지만, 자율 주행은 사람과 자전거가 튀어나오는 현실을 똑같이 흉내 내는 시뮬레이터를 만드는 일이 강화 학습보다 어렵다.

전이 학습: 배운 앞부분을 다시 쓴다

개·고양이 판별기를 만든 뒤 앞쪽 층의 가중치는 그대로 두고 뒤쪽만 새로 학습하면 암 판별기를 처음부터 만들 때보다 훨씬 싸게 만든다. 선과 모양을 보는 앞쪽 층은 어떤 이미지 문제에도 쓸모가 있기 때문이다(전이 학습). 어디서 자를지도 감으로 해 본다. 소리를 다루는 신경망의 일부가 이미지 문제에 도움이 되기도 하는데, 그 이유도 거꾸로 분석해서야 짐작한다.

정리

인공지능은 신경망으로 숫자에서 패턴을 찾는 일이다. 컴퓨터에서는 사진·소리·바둑판·운전이 모두 숫자다.
사람이 규칙으로 적을 수 없는 패턴(고양이, 손글씨, 문맥)은 프로그래밍으로 못 만들었다. 딥러닝은 곱하기·더하기 구조의 가중치를 학습으로 찾아 이를 푼다.
층이 쌓이며 선 → 모양 → 부분 → 판단으로 올라간다. 계산은 다 보이지만 각 숫자의 의미는 거꾸로 관찰해야 안다.
생성은 「다음 것」을 출력으로 둔 같은 구조다.
강화 학습은 보상만 주고 스스로 전략을 찾게 한다. 사람의 지식을 뺄수록 더 강해졌고, 한계는 시뮬레이터다.
배운 앞쪽 층은 다른 문제로 옮겨 쓸 수 있다(전이 학습).

버그 제보