목차16개 항목
출처와 참고
Y Combinator AI Startup School의 대담 「Satya Nadella: Microsoft's AI Bets, Hyperscaling, Quantum Computing Breakthroughs」(2025.06)를 바탕으로 재구성한 노트다. 「AI는 도구다」 절의 if 문·전기 비유와 「자동화되는 일: 정형·비정형 × 육체·인지」 절은 CrashCourse의 「Crash Course Computer Science」 강의를 바탕으로 보강했다.
핵심: AI는 네 번째 플랫폼 전환이다
| 전환 | 핵심 |
|---|---|
| 클라이언트·서버 | PC가 업무 도구가 됐다 |
| 웹·인터넷 | 정보와 서비스가 연결됐다 |
| 모바일·클라우드 | 어디서나, 필요한 만큼 쓰는 컴퓨팅 |
| AI | 지능을 플랫폼 층으로 쓴다 |
AI의 확산이 유난히 빠르고 넓은 이유는 이전 플랫폼 위에 복리로 쌓였기 때문이다. 클라우드가 없었으면 AI 슈퍼컴퓨터를 못 만들었고, 그것이 없었으면 모델도, 모델 위의 제품도 없었다. 플랫폼 전환은 늘 새 워크로드를 가져온다. 대규모 학습은 데이터 병렬·동기식이라 Hadoop 같은 이전 분산 작업과 전혀 다르고, 그래서 인프라가 처음부터 다시 설계된다. 하이퍼스케일러만이 아니라 인프라 층을 만드는 스타트업에게도 시스템 소프트웨어의 황금기다.
모델은 SQL, 제품은 그 위의 앱
"모델이 어디서 끝나고 제품이 어디서 시작하나"는 질문은 데이터베이스에 빗대면 정리된다. SQL 위에 비즈니스 로직을 얹어 앱을 만들 듯, 모델을 SQL 같은 안정된 층으로 추상화하고 그 위에 앱 계층을 만든다. 머신러닝은 그동안 모든 것을 수직으로 통합해 만들어 안정된 플랫폼 층이 없었는데, 모델 층이 처음으로 그 역할을 한다. 추론 시점 연산(inference-time compute)과 도구 호출이 정교한 제품을 만드는 탄탄한 하네스가 된다(프롬프트에서 하네스로).
제품이 만들어지는 자리
flowchart LR model["모델 + 스캐폴딩(앱 서버)"] --> use["제품 사용"] use -->|"제품 안의 데이터 경로(피드백 루프)"| post["사후 학습(post-train)"] post --> model
모델 자체보다 제품 안에서 쌓인 데이터로 사후 학습해 도구 선택 같은 행동을 다듬는 피드백 루프가 제품 경쟁력이 생기는 곳이다.
에이전트에 일급으로 필요한 세 가지
| 요소 | 뜻 |
|---|---|
| 메모리 | 세션이 끝나도 남는 기억 |
| 도구 사용 | 외부 시스템을 호출해 일을 한다 |
| 권한(entitlements) | 무엇을 할 자격이 있는가. 셋 중 가장 중요하다 |
데이터베이스 위에 "누가 무엇을 할 수 있나"를 정하는 접근 제어·비즈니스 로직 층을 두고, 그 위에 에이전트를 올리는 구조다. 이렇게 묶으면 에이전트도 사람 계정처럼 ID를 갖고, 관리되고, 프로비저닝 통제를 받는다.
패키지 소프트웨어는 사라지나
필요할 때 바로 생성하는 소프트웨어(just-in-time)와 미리 만든 소프트웨어는 함께 간다. 좋은 캔버스(VS Code 같은 IDE, IDE로 볼 수 있는 Excel)에 최고의 모델을 붙이고 캔버스와 모델 사이에 루프를 만드는 제품이 남는다. 많은 AI 에디터가 VS Code를 포크해 만든다는 사실이 좋은 캔버스의 가치를 보여 준다.
성과의 기준: 벤치마크가 아니라 경제적 잉여
AI의 목적은 결국 경제 성장이다. 기준은 AGI 벤치마크가 아니라, 한 공동체·국가·산업·회사씩 실제로 잉여를 만들어 통계에 드러나는가다.
- 에너지를 쓰려면 사회적 허가가 필요하다. 지능이 연산량에 비례하고 연산이 전력을 쓰는 이상, AI의 전력 비중이 커질수록 그 결과가 사회적으로 쓸모 있다는 증명이 필요하다. 잉여를 만들지 못하면 에너지를 쓸 명분도 없다.
- 비용은 기적의 신약보다 워크플로에 있다. 의료비의 상당 부분은 행정·서류 업무다. 전자 의무 기록 시스템 뒤에 LLM과 프롬프트만 붙여도 퇴원 처리 같은 일에서 시간과 돈이 크게 준다. 대출 심사, 공공 서비스처럼 서류에 묻힌 일이 모두 대상이다.
- 과대평가된 것은 모델 능력, 과소평가된 것은 확산이다. 모델이 현지 개발자의 손에서 음성 인터페이스·메신저 같은 기존 채널과 엮여 일상 업무(보조금 신청, 학습 보조)에 닿을 때 가치가 생긴다. 이런 실제 변화가 드러나지 않으면 AI는 기업 가치 평가의 이야기로 끝난다.
가장 큰 병목: 변화 관리
전력 같은 물리적 제약도 있지만, 사회적으로 가장 큰 병목은 일의 방식과 직무를 바꾸는 변화 관리다.
| 시대 | 매출 예측을 만드는 방식 |
|---|---|
| PC 이전 | 팩스로 숫자를 받아 사내 메모로 돌리고 주석을 달아 분기 말 전에 예측을 낸다 |
| PC·이메일 이후 | 엑셀 시트를 메일로 돌려 숫자를 채우면 예측이 나온다 |
| AI 이후 | 여러 에이전트를 지휘하며 일한다. 작업 산출물과 워크플로, 직무 범위까지 바뀐다 |
- 기술만 넣고 워크플로를 그대로 두면 효과가 나지 않는다. 디자인·프론트엔드·제품 기능을 하나로 합쳐 풀스택 빌더라는 직무를 만드는 식으로 팀과 역할을 다시 짜야 한다.
- AI 스타트업이 고객사에 엔지니어를 보내 함께 일하는 현장 배치 엔지니어(forward deployed engineer) 모델을 많이 쓰는 이유도 변화 관리다. 기술만이 아니라 그것을 워크플로에 넣는 법까지 함께 전해야 한다.
- 지식 노동에는 잡일(drudgery)이 많다. 브라우저에서 복사해 스프레드시트에 붙이고 메일로 보내는 일이다. 사람이 몰입해 종합하는 시간은 생각보다 적다. 잡일은 에이전트가, 판단과 종합은 사람과 추론 모델이 함께 하는 것이 다음 단계다. 소프트웨어 엔지니어링에서 먼저 일어난 일이 모든 지식 노동으로 번진다.
연구의 다음 단계
flowchart LR pre["사전 학습(pre-training)"] --> post["사후 학습(post-training)"] --> ttc["추론 시점 연산(test-time compute)"] ttc -.-> next["다음 후보: 새 알고리즘 돌파, 사전 학습에서 RL까지 잇는 종단간 학습 루프"]
강화 학습과 추론 시점 연산이 새 스케일링 법칙을 열었다. 마지막 큰 알고리즘 돌파는 아직 오지 않았다고 보고 열린 태도를 유지한다. 효율적인 방법 하나가 지금의 판을 바꿀 수 있다.
AI는 도구다
"인공지능"은 불행한 이름이다. AI를 의인화하지 않고 도구로 본다. 지능의 징후는 보이지만 사람의 지능과 같지 않고, 사람의 주체성(agency)은 여전히 남는다.
도구라는 말에는 모든 것이 AI일 필요는 없다는 뜻도 있다. 자동차는 AI로 스스로 달려도 문 잠금은 사실상 if 문으로 남는다. 전기가 그랬듯 AI도 기존 제품을 강화하는 쪽과 전에 없던 제품군을 여는 쪽으로 동시에 퍼진다. 전구가 촛불을 대체했지만 전기로 움직이는 새 기기 수백 가지가 생겼고, 촛불도 여전히 있다.
자동화되는 일: 정형·비정형 × 육체·인지
일은 두 축으로 나눠 볼 수 있다. 같은 작업을 반복하는 정형(routine) 과 매번 문제를 풀어야 하는 비정형(non-routine), 몸을 쓰는 육체(manual) 와 머리를 쓰는 인지(cognitive) 다.
| 육체 | 인지 | |
|---|---|---|
| 정형 | 조립, 공장 도장. 산업용 로봇이 이미 대체했다 | 계산원, 창구 업무, 데이터 입력, 정형화된 상담. 소프트웨어와 챗봇이 빠르게 대체한다 |
| 비정형 | 요리, 청소, 돌봄, 경비. 감각·운동 기술이 어려워 로봇이 가장 늦다(모라벡의 역설, 피드백 제어와 PID 제어기) | 교사, 작가, 변호사, 의사, 과학자, 개발자 |
로봇 시대의 예상은 비정형 인지 노동이 가장 오래 안전하다는 것이었다. LLM은 이 예상을 뒤집었다. 글쓰기·코딩·분석처럼 비정형 인지 작업의 상당 부분이 먼저 노출됐고, OpenAI·펜실베이니아대 연구(Eloundou 외 2023)는 임금이 높은 직업일수록 LLM에 노출될 가능성이 크다고 본다. 반대로 비정형 육체 노동은 여전히 자동화가 가장 느리다. 그래서 직업 단위보다 직업 안의 작업 단위로 무엇이 자동화되는지 보는 편이 정확하다.
자동화가 일자리를 없애는 일 자체는 새롭지 않다. 자카드 직기는 숙련 직조공의 일을 기계로 옮겼고, 농업 기계화로 인구 대부분이던 농업 종사자는 선진국에서 몇 %로 줄었고, 전화 교환원은 자동 교환기로 사라졌다. 그 대가로 옷·음식·물건이 싸고 흔해졌다. 장기적으로는 새 일이 생겨 왔지만, 일자리를 잃은 사람들이 겪는 단기 충격을 어떻게 흡수하느냐는 정책의 문제로 남는다.
소프트웨어 엔지니어는 아키텍트가 된다
1980년대 사무실에는 타이피스트가 따로 있었지만, 지금은 모두가 타이핑한다. 마찬가지로 모두가 소프트웨어를 만들게 되지만 소프트웨어 엔지니어라는 직업은 다른 모습으로 남는다.
- 엔지니어는 아키텍트로 한 단계 올라간다. 바이브 코딩은 무슨 일이 일어났는지 모르게 되는 순간까지만 훌륭하다. 저장소 전체의 메타 모델을 머리에 두고, 저장소에서 일하는 모든 에이전트의 변경 기록을 읽어야 한다.
- 빌드가 깨지지 않고 코드 품질이 유지되게 하는 좋은 개발 관리자의 역할이 엔지니어링의 중심이 된다.
- 법이 바뀌기 전까지 법적 책임은 사람과 사람이 만든 기관에 있다. 그래서 사람이 근본적인 수준에서 루프 안에 있어야 하고, 에이전트가 무엇을 하는지 파악할 도구가 많이 필요하다(AI 시대 개발자의 역할).
컴퓨터 사용과 신뢰
음성과 시각이 PC의 일급 입력이 되면서, 화면을 함께 보고 말로 지시하는 것이 정밀한 마우스 조작만큼 자연스러워진다. 에이전트가 사람 대신 컴퓨터를 쓰는 방향으로 가며, 관건은 맡길 수 있을 만큼 믿을 수 있는가다.
| 고려 사항 | 누가 신경 쓰나 |
|---|---|
| 프라이버시 | 모든 사용자 |
| 보안 | 모든 고객사(테넌트) |
| 주권(sovereignty) | 모든 국가 |
제품과 시스템은 사람, 조직, 국가에 대해 이 세 경계를 어떻게 넘는지 답할 수 있어야 한다(책임 있는 AI).
커리어와 리더십
- 지금 자리에서 최선을 다한다. 승진을 기다렸다가 최고의 일을 하는 것이 아니다. 지금 맡은 일을 가장 큰 일로 여기고 넓혀 간다.
- 팀을 정렬하는 것은 내 일이다. 학교와 일의 가장 큰 차이는 팀에 들어간다는 점이다. 모두가 팀을 맞추는 일을 남의 일로 여기지만, 그것이 바로 내 일이다.
사람과 팀에서 찾는 세 가지 자질은 이렇다. 리더십은 나중에 하는 일이 아니라 모든 단계에서 하는 일이다.
| 자질 | 내용 |
|---|---|
| 명확성을 가져온다 | 똑같이 똑똑해도 좋은 아키텍트는 명확성을, 나쁜 아키텍트는 혼란을 가져온다. 모호하고 불확실한 상황에서 다음에 할 일을 분명히 하는 능력이 가장 귀하다 |
| 에너지를 만든다 | "우리 팀은 훌륭한데 다른 팀은 별로"가 아니라, 회사 안팎의 여러 이해관계자를 한데 모은다 |
| 과잉 제약 문제를 푼다 | 성공한 사람은 제약이 너무 많아 풀리지 않는 문제에서 제약을 풀어 길을 찾는다. 그래서 "진척이 없던 프로젝트에서 길을 찾은 경험"을 묻는 것이 좋은 면접 질문이다 |
양자 컴퓨팅과 AI
범용 양자 컴퓨터를 만들려면 안정적이고 오류가 정정되는 큐비트, 즉 결함 허용(fault-tolerant) 큐비트가 필요하다. Microsoft는 마요라나 입자에 기반한 위상 큐비트에 걸었고, 2025년 2월 그 접근의 칩 Majorana 1을 발표했다. 다만 이 위상 큐비트를 실제로 구현했다는 주장은 물리학계에서 여전히 검증과 논쟁이 이어지고 있다.
자연을 이해하는 언어인 시뮬레이션에는 양자 컴퓨터가 가장 맞고, AI는 그 시뮬레이터를 흉내 내는 에뮬레이터로 볼 수 있다. 지금은 HPC와 AI를 함께 써서 화학, 물리, 재료 과학을 가속하고, 양자는 그 다음 단계다.
지금 시작한다면
행과 열이라는 단순한 틀 가운데에 계산 기계를 둔 스프레드시트처럼, 쓰는 사람에게 힘을 주는 느낌(empowerment)을 주는 도구가 오래 남는다. 리서처, 분석가, 창작자에게 그런 감각을 주는 다음 세대의 도구가 지금 가장 해 볼 만한 일이다.
정리
- AI는 이전 플랫폼 위에 복리로 쌓인 네 번째 플랫폼 전환이고, 인프라·모델·제품 모든 층에 기회가 있다.
- 모델은 SQL 같은 안정된 층이다. 제품 경쟁력은 스캐폴딩과 제품 안 데이터로 다시 학습하는 피드백 루프에서 나온다.
- 에이전트에는 메모리, 도구 사용, 권한이 일급으로 필요하다. 권한이 가장 중요하다.
- 기준은 벤치마크가 아니라 실물 경제의 잉여다. 그래야 에너지를 쓸 사회적 허가를 얻는다.
- 가장 큰 병목은 변화 관리다. 워크플로, 산출물, 직무 범위를 함께 바꿔야 한다.
- 엔지니어는 저장소의 메타 모델을 쥔 아키텍트가 되고, 책임은 사람에게 남는다.
- 리더십은 명확성, 에너지, 과잉 제약 문제 풀기다.
관련 노트: AI 시대 개발자의 역할, 프롬프트에서 하네스로: 에이전틱 패턴의 진화, 책임 있는 AI: 프라이버시·공정성·신뢰, 조직의 디지털 전환과 웹 거버넌스, AI로 개발 가속하기: 규칙을 키우는 개발, AI 2027: 초지능 도래 시나리오와 정렬 문제, 조직 AX: 개발 자동화에서 전사 AI 전환까지, 스케일과 지능 유틸리티