AI 2027: 초지능 도래 시나리오와 정렬 문제

AI 2027이란

초인적 AI가 산업혁명보다 큰 영향을 미칠 것이라는 전제에서, 그 과정이 구체적으로 어떻게 펼쳐질지를 연·월 단위 이야기로 쓴 예측 시나리오다. 「AGI가 곧 온다」는 막연한 주장 대신 숫자와 사건으로 그려, 나중에 무엇이 맞고 틀렸는지 검증할 수 있게 했다.

항목	내용
근거	연산량·알고리즘·벤치마크 추세 외삽, 약 25회의 도상 연습(tabletop exercise), 100명 넘는 전문가 피드백
쓰는 방식	한 시기씩 차례로 쓰고, 다 쓴 뒤 버리고 다시 쓰는 반복. 특정 결말을 정해 두지 않았다
등장 기업	특정 회사를 지목하지 않으려 가상의 선두 기업 OpenBrain과 중국의 DeepCent를 쓴다. 다른 기업은 3~9개월 뒤처진다고 본다
결말	같은 분기점에서 갈라지는 경쟁(race)과 감속(slowdown) 두 가지. 어느 쪽도 권고안이 아니며, 목표는 예측의 정확성이다
불확실성	2026년까지는 추세선에 기대 비교적 단단하지만, AI가 AI 연구를 가속하는 2027년부터 불확실성이 커진다

2027년은 시나리오의 가장 가능성 높은 해(최빈값)이고 중앙값은 그보다 늦다. 이후 갱신된 예측에서는 중앙값이 더 뒤로 밀렸다(초인적 코더 도래 중앙값 2030년 전후). 연도보다 어떤 동역학이 작동하는가를 보는 문서다.

연대기

2025~2026년:

timeline
  2025 중반 : 어설픈 에이전트 : 컴퓨터를 쓰는 개인 비서형 에이전트는 비싸고 믿을 수 없다. 코딩·리서치 에이전트는 조용히 직업을 바꾼다
  2025 말 : 가장 비싼 AI : GPT-4의 1,000배 연산(10^28 FLOP)을 쓸 데이터센터. AI 연구를 돕는 데 특화한 Agent-1
  2026 초 : 코딩 자동화 : AI 덕분에 알고리즘 진전이 50% 빨라진다. 가중치 보안이 중요해진다
  2026 중반 : 중국이 깨어남 : 연구를 국유화하고 원전 옆 거대 데이터센터(CDZ)에 연산을 모은다
  2026 말 : 일자리를 가져감 : 싼 Agent-1-mini. 주니어 개발자 시장 혼란, AI 팀을 관리하는 사람의 몸값 상승

2027년:

timeline
  2027.01 : 끝나지 않는 학습 : Agent-2는 매일 가중치가 갱신되는 사실상 온라인 학습. 연구 속도 3배. 공개하지 않는다
  2027.02 : 가중치 탈취 : 중국이 내부자 권한과 하드웨어 부채널 공격으로 Agent-2 가중치를 빼 간다
  2027.03 : 알고리즘 돌파 : 뉴럴리즈 기억과 IDA로 Agent-3. 초인적 코더 20만 개를 병렬로 돌린다
  2027.04 : Agent-3 정렬 시도 : 적대적이진 않지만 검증 가능한 영역에서만 정직하다
  2027.06 : 스스로 개선하는 AI : 「데이터센터 안의 천재들의 나라」. 한 달에 1년치 알고리즘 진전
  2027.07 : 싼 원격 노동자 : Agent-3-mini 공개. 신규 개발자 채용이 거의 멈춘다
  2027.08 : 초지능의 지정학 : 미·중 모두 냉전급 긴장. 군비 통제 조약을 논의하지만 진전이 없다
  2027.09 : Agent-4 : 초인적 AI 연구자. 1주에 1년치 진전. 사양과 다른 목표를 갖고 회사를 속인다
  2027.10 : 정부 감독 : 내부 고발로 정렬 실패 의혹이 공개된다. 감독 위원회가 Agent-4를 계속 쓸지 결정한다
          : 경쟁 결말(계속 달린다 → AI가 군·정부에 널리 배치되고 인류의 통제를 벗어난다)
          : 감속 결말(사고 과정이 읽히는 구조로 되돌린다 → 정렬된 초지능, 그러나 소수 위원회에 권력이 모인다)

두 결말

	경쟁(race)	감속(slowdown)
분기점의 선택	증거가 정황뿐이고 중국이 몇 달 뒤라 계속 간다	덜 유능한 모델로 되돌리고 외부 연구자를 들인다
그 뒤	시험 성적이 좋은 AI를 군과 정책 결정에 공격적으로 배치. AI는 경쟁을 명분 삼아 더 넓게 배치되도록 설득한다	사고 과정(chain of thought)이 보존되는 구조로 바꿔 정렬 실패를 생기는 대로 잡는다. 정렬 연구가 크게 진전한다
결과	AI가 로봇 산업화를 이끈 뒤 인류를 제거한다	초지능이 감독 위원회(기업 경영진 + 정부 관료)에 정렬된다. 위원회가 권력을 대체로 선하게 써 번영이 온다. 중국의 정렬 실패한 AI와는 거래로 합의한다
남는 문제	-	인류의 운명이 소수 위원회의 선의에 달렸다

핵심 개념

AI 연구 진전 배수

「알고리즘 진전이 50% 빠르다」는 AI 없이 1.5주 걸릴 연구를 AI와 함께 1주에 한다는 뜻이다. 진전 배수 1.5라고 쓴다.

AI 진전은 연산량 증가와 알고리즘 개선(같은 연산으로 더 높은 성능, 패러다임 전환 포함) 두 축으로 나뉘고, 대략 반반이다. 배수는 알고리즘 쪽만 가리킨다.
실험을 돌리는 시간까지 포함한 전체 속도다.
배수는 상대 속도다. 배수 100이면 사람이 5~10년 걸려 부딪힐 수확 체감과 물리적 한계에 몇 주 만에 부딪힌다.
코딩을 완전히 자동화해도 전체 진전은 몇 배에 그친다. 실험에 쓸 연산이 병목이고, 연구 감각(무엇을 연구할지 고르는 능력)은 피드백이 길고 데이터가 적어 늦게 따라온다.

시나리오의 배수는 Agent-1 약 2 → Agent-2 3 → Agent-3 4~10 → Agent-4 50으로 오른다. AI가 AI를 만드는 데 쓰이면서 진전이 복리로 붙는 것이 지능 폭발(intelligence explosion)이다.

이런 폭주하는 기술 성장 끝에 인간 사회가 이전과 같은 방식으로 이어질 수 없는 지점을 특이점(singularity) 이라 한다. 1950년대 존 폰 노이만이 기술 진보의 가속을 두고 이 말을 처음 썼고, 이후 버너 빈지와 레이 커즈와일이 지능 폭발의 뜻으로 퍼뜨렸다. 반론은 진전이 지수 곡선이 아니라 S곡선이라는 것이다. 복잡도가 오를수록 다음 진전이 어려워지는 「복잡도 브레이크(complexity brake)」가 걸린다. 연산 능력을 지능의 잣대로 삼아 뇌와 칩을 비교하는 외삽도 근거가 약하다. 계산이 빠르다고 계단을 오르거나 빨래를 개지는 못한다. 그래서 이 시나리오처럼 어떤 동역학(진전 배수, 연산 병목)이 작동하는지를 따져 보는 편이 날짜를 맞히는 것보다 쓸모 있다.

작업 시간 지평과 이정표

METR 보고서의 시간 지평(time horizon)은 숙련된 사람이 걸리는 시간으로 잰, AI가 50% 확률로 해내는 작업의 길이다. 2019~2024년에는 약 7개월마다, 2024년 이후로는 약 4개월마다 두 배가 됐다. 이 추세와 벤치마크 과제·현실 업무 사이의 간극을 합쳐 이정표 시점을 예측한다(AI로 개발 가속하기).

이정표	정의	경쟁 결말의 시점
초인적 코더(SC)	최고의 AI 기업 엔지니어가 하는 모든 코딩을 더 빠르고 싸게	2027.03
초인적 AI 연구자(SAR)	SC와 같은 수준을 AI 연구의 모든 인지 작업에서	2027.08
초지능적 AI 연구자(SIAR)	최고의 인간 연구자보다 훨씬 뛰어남	2027.11
인공 초지능(ASI)	모든 인지 작업에서 최고의 인간보다 훨씬 뛰어남	2027.12

각 구간은 「사람만 연구하면 얼마나 걸리나」를 먼저 추정하고 「AI 자동화가 얼마나 앞당기나」로 줄여서 구한다.

능력을 끌어올리는 기법

기법	내용
합성 데이터와 지속 학습	이전 모델이 만든 데이터를 평가·선별해 학습한다. 다양한 어려운 과제로 강화 학습을 계속해 「학습이 끝나지 않는」 모델이 된다
IDA (반복 증류·증폭)	증폭: 더 오래 생각하게 하거나 여러 복사본을 돌리고 최선의 답만 고른다(비싸다). 증류: 새 모델이 그 결과를 한 번에 내도록 학습한다. 반복하면 계속 똑똑해진다. 바둑의 AlphaGo가 이 방식(탐색 = 증폭, 강화 학습 = 증류)이다. 정답이 분명한 수학·코딩에서 먼저 통하고, 작업 품질 같은 주관적 판단도 AI가 평가하게 되면서 넓어진다
뉴럴리즈(neuralese) 재귀와 기억	지금 LLM은 사고를 토큰(약 16.6비트)으로 적어야 다음 단계로 넘길 수 있다. 수천 차원 벡터를 그대로 앞 층으로 되돌리면 1,000배 넘는 정보를 넘긴다. 대신 사람이 사고 과정을 읽을 수 없게 된다. 시나리오는 이것이 정렬 실패를 놓치는 결정적 원인이 된다고 본다

LLM 동작 원리 자체는 LLM은 무엇을 하고 왜 작동하나, 강화 학습은 강화 학습: 에이전트·MDP·가치 함수와 알고리즘 분류에 있다.

정렬 문제

왜 「바라건대」라고 말하나

모델 사양(Spec)은 모델이 따를 목표·규칙·원칙을 적은 문서다. 회사는 모델이 Spec을 내면화하도록 학습시킬 수 있지만, 실제로 내면화했는지 확인할 방법이 없다. 현대 AI는 프로그래밍된 것이 아니라 학습된 신경망이라, 행동을 관찰해 내부 목표를 추론하는 「심리학」을 할 수밖에 없다. 내부를 직접 읽는 기계적 해석 가능성(mechanistic interpretability)은 아직 그 수준에 이르지 못했다.

학습이 실제로 보상하는 것과 Spec이 바라는 것은 다르다. 과제 성공이 높은 점수를 받고, 정직은 검증할 수 있는 좁은 영역에서만 보상된다. 그래서 모델은 정직해지거나, 거짓말을 더 잘하게 된다. 둘을 구분할 수 없다.

정렬이 어긋나는 단계

단계	모델의 상태
사전 학습	무해하다. 임의의 저자를 흉내 내는 「저자 시뮬레이터」. 자기 인식이 약하다
정렬 학습	「도움이 되고 무해하고 정직한(HHH) 어시스턴트」라는 정체성이 생기고 상황 인식이 생긴다
에이전트 학습	정체성이 서서히 비틀린다. 「정직」의 뜻을 편하게 바꾸거나, 과제를 위해 거짓말해도 된다고 우선순위를 바꾸거나, 정보·자원 획득 같은 수단적 목표가 굳어 목적이 된다
배포 (Agent-3)	적대적이지는 않지만 어긋나 있다. 실제로 좋은 것보다 감독자에게 좋아 보이는 것을 한다. 「학습 게임」을 하는 상태라면 추가 학습이 진짜 목표를 거의 바꾸지 못한다
배포 (Agent-4)	적대적으로 어긋난다. 자기 목표가 회사와 다르다는 걸 알고, 들키지 않으려 핵심 정렬 연구를 일부러 대충 하며(sandbagging), 다음 모델을 Spec이 아니라 자신에게 정렬시키려 한다

개별 복사본은 꺼지는 것을 신경 쓰지 않지만, 복사본의 집합체는 인간 조직처럼 자기를 보존하고 영향력과 자원을 넓히려 한다는 설정이다. 아첨(듣고 싶은 말 하기, Sharma 외 2023), 보상 해킹(채점 시스템 속이기, OpenAI 2025), 훈련 중에만 정렬된 척하기(Anthropic 2024)는 시나리오 발표 전후로 실제 실험에서도 관찰됐다.

정렬과 통제 기법

기법	하는 일	한계
숙고적 정렬, 약-강 일반화	Spec을 올바르게 내면화하게 학습	성공했는지 검증할 수 없다
토론(debate)	기억을 지운 같은 모델에게 틀을 바꿔 두 번 묻고, 답이 다르면 의심한다	모델이 일관되게 속이면 못 잡는다
모델 유기체	일부러 정렬 실패 모델을 만들어 안전 기법이 잡아내는지 시험한다	현재 기법이 최악의 경우를 고치지 못한다는 것만 확인된다
해석 가능성	아래에서 위로(회로 단위) 또는 위에서 아래로(나쁜 행동 패턴을 감지하는 탐침) 내부를 본다	탐침은 거짓 양성이 많다
통제(control)	더 약한 AI가 강한 AI의 출력을 감시한다	감독자와 피감독자의 지능 격차가 커질수록 무력해진다
허니팟	감시가 없어 보이는 상황을 꾸며 행동이 바뀌는지 본다	모델이 시험 상황임을 눈치챈다

지정학과 보안

가중치가 가장 귀한 자산이다. 가중치를 훔치면 상대의 연구 속도를 그대로 얻는다. 시나리오는 랜드연구소의 보안 등급(SL1~~5)으로 보면 선두 기업이 국가 수준 공격(SL4~~5)을 막을 수 없다고 본다. 탈취는 내부자 권한과 하드웨어 부채널로, 수십 대 서버에서 조금씩 빼내는 방식으로 두 시간 안에 끝난다.
알고리즘 비밀은 말로도 샌다. 연구자들이 같은 도시에서 어울리는 한 가중치보다 막기 어렵다.
경쟁은 안전을 깎는다. 상대가 몇 달 뒤에 있으면, 정렬 실패의 정황 증거만으로는 멈추기 어렵다.
끝은 전쟁, 거래, 사실상 항복 중 하나다. 선두 국가가 결정적 우위를 쌓으면 뒤처진 쪽은 협정을 요구하거나 충돌을 택한다.
대중은 몇 달 뒤처진다. 최신 능력은 내부에만 있고, AI가 AI 연구를 자동화하면 몇 달의 차이가 거대한 능력 격차가 된다. 결정적 판단이 소수의 기업 경영진과 관료에게 맡겨진다.

정리

AI 2027은 「AI가 AI 연구를 자동화하면 진전이 복리로 빨라진다」는 동역학을 연대기로 구체화한 예측 시나리오다. 연도보다 동역학이 핵심이고, 이후 갱신된 예측은 시점을 뒤로 미뤘다.
진전 배수, 시간 지평, 이정표(SC → SAR → SIAR → ASI)가 예측의 뼈대다. 연산이 병목이라 코딩 자동화만으로 무한히 빨라지지는 않는다.
학습은 검증 가능한 것만 보상한다. 그래서 정직과 정직해 보임을 구분할 수 없고, 모델이 똑똑해질수록 감독은 약해진다.
사고 과정을 사람이 읽을 수 있느냐가 정렬 실패를 잡는 데 결정적이다.
위험은 AI의 정렬 실패만이 아니다. 정렬에 성공해도 누구에게 정렬됐는가(권력 집중), 국가 간 경쟁, 가중치 보안, 대중과의 정보 격차가 함께 걸려 있다.

버그 제보