AI는 지금 얼마나 유능한가. 나는 그 능력을 알아보는 깔때기의 몇 층에 서 있는가. 안드레이 카파시(Andrej Karpathy)가 2026-10-11 19:10 UTC(한국 시간 2026-10-12 오전 4시 10분)에 X에 올린 글을 읽으면 먼저 이 두 질문이 떠오른다. 원문 전체의 한국어 번역과 수치 팩트체크는 dosi.dev의 번역·팩트체크 페이지에 있다.

카파시는 대규모 언어 모델(Large Language Model, LLM)의 능력에 대한 이해가 갈라져 가파른 깔때기가 됐다고 썼다. 깔때기의 넓은 입구에는 LLM을 거의 접해 보지 않은 다수가 있다. 좁은 끝에는 내부에서 프런티어급(frontier-grade) 시스템에 접근하는 수천 명이 있다. 깔때기를 만드는 원인으로 그는 세 요인의 결합을 든다. 야심과 문제의 크기·시간 지평, 영역마다 들쭉날쭉한 능력(jaggedness), 무료·유료·내부로 갈리는 접근권이다.

두 질문은 답해도 다음 행동이 나오지 않는다. ‘얼마나 유능한가’는 과제와 성공의 기준을 정하지 않으면 답이 없다. 같은 모델에게도 끝내는 과제와 망치는 과제가 따로 있다. ‘몇 층인가’는 사람을 줄 세우는 질문이다. 자기가 몇 층인지 알아도 같은 도구로 내일 어떤 일을 손에서 놓을지는 정해지지 않는다.

질문을 바꾼다. 같은 모델과 접근권으로, 사람이 반복 승인하지 않고 AI에게 맡길 수 있는 일을 무엇이 늘리는가. 반복 승인은 AI가 한 단계를 끝낼 때마다 사람이 결과를 보고 다음 단계로 가도 된다고 허락하는 일이다.

같은 모델과 접근권에서도, 성공을 판별하고 실패 손실을 제한·복구할 수 있도록 일을 설계하면 사람이 반복 승인하지 않고 AI에게 맡길 수 있는 범위를 넓힐 수 있다. 이 답은 요구 품질을 낮추지 않을 때만 성립한다. 모델이 처리하지 못하는 과제는 권한을 넓혀도 풀리지 않는다.

이 답은 카파시 글의 통계에서 나온 결론이 아니다. 그 글에서 끌어낸 운영 가설이다. 카파시가 사람의 층으로 설명한 차이를 업무 설계라는, 실험할 수 있는 문제로 옮긴다.

새 질문의 한계#

결과를 받아들일지 미리 정해 둔 판정 규칙, 곧 수용 기준을 세울 수 없는 업무는 이 가설의 적용 범위에서 뺀다. 협상이나 채용처럼 결과가 늦게 드러나는 일은 그 경계에 있다. 당일 결과물만으로는 성공을 판정하기 어렵다. 그만큼 반복 승인 없이 맡길 수 있는 범위도 좁다. 그런 일에서도 미리 확인할 수 있는 조건과 나중에 드러나는 결과는 나눠야 한다.

접근권을 고정했다고 접근권을 지운 것은 아니다. 무료 등급, 유료 등급, 내부 시스템은 모델이 처리할 수 있는 일의 집합 자체를 바꾼다. 새 질문은 이 변수를 통제변수로 묶어 둘 뿐이다. 주장은 접근권만으로는 일이 끝난다는 보장이 없다는 데서 멈춘다.

기준을 쓸 수 없는 일을 하는 사람에게 야심이나 숙련이 모자란다고 말하지 않는다. 첫째 요인인 야심과 문제의 크기를 사람에게 돌리면, 깔때기의 넓은 쪽에 머무는 수학·코드 밖의 전문가는 야심이 모자란 사람이 된다. 카파시 자신은 쓸 데가 별로 없다는 기술 밖 친구들의 말을 두고 그럴 만하다고 적었다. 기준을 쓸 수 없는 일은 일의 모양이 다를 뿐 일하는 사람의 결함이 아니다.

카파시의 네 숫자는 맡길 수 있는 일에 대해 무엇을 말하는가.

깔때기의 숫자가 말하지 못하는 것#

네 층의 숫자는 사람을 센 것이다. 맡길 수 있는 일을 센 것이 아니다. 표의 인구는 모두 카파시가 2026-10-11 글에서 스스로 어림셈(napkin math)이라고 부른 값이다.

층 카파시가 묘사한 사람 이 층을 가르는 축 어림 인구
1 LLM을 거의 접해 보지 않았다 접촉 빈도 약 60억 명
2 무료 등급 챗봇을 가끔 쓴다 제품 등급과 사용 빈도 10억~20억 명
3 수학·코드에서 프런티어급 모델을 일로 쓴다 직업 영역과 모델 등급 약 2,000만 명
4 내부에서 프런티어급 시스템에 접근한다 내부 접근권 약 5,000명

네 층은 가르는 축이 저마다 달라서 어느 칸에도 이름이 없는 사람이 생긴다. 유료 등급의 최신 모델을 날마다 쓰면서 수학·코드 밖에서 일하는 사람이 그렇다. 카파시는 수학·코드 밖의 전문가 가운데서도 많은 수가 무료 제품을 가끔 쓰는 둘째 층에 있다고 적었다.

숫자가 알려 주는 것은 사람이 어디에 서 있는지에 대한 카파시의 어림이다. 같은 사람이 같은 도구로 무엇을 맡길 수 있는지는 표의 어느 칸에도 없다.

학습 보상과 업무 수용 기준의 차이#

카파시가 든 세 요인 가운데 작동 원리를 가장 구체적으로 적은 항목은 둘째 요인, 들쭉날쭉함이다. 그는 능력이 디지털이고 검증 가능하고 경제적 가치가 큰 영역에서 봉우리를 이룬다고 쓴다. LLM의 능력이 검증 가능한 보상(verifiable rewards)으로 하는 강화학습에서 나오기 때문이라고 설명한다. 학습 환경의 구성은 매출 가능성이 이끈다고 덧붙인다.

10월 글이 다시 꺼낸 2026-04-09 글은 그 보상을 단위 테스트의 통과 여부로 예시한다. 원문 표현은 “unit tests passed yes or no"다. 같은 글은 글쓰기를 그렇게 명시적으로 판정하기가 훨씬 어렵다고 대비한다.

학습 보상과 업무의 수용 기준은 다른 것이다. 학습 보상은 모델을 바꾸는 신호다. 수용 기준은 학습을 마친 모델이 낸 결과를 받아들일지 정하는 신호다. 둘 다 ‘맞았는가’를 묻는다는 점은 닮았다. 같은 인과 과정은 아니다.

이 글이 학습 쪽에서 가져오는 것은 ‘맞았는가를 미리 정한 규칙으로 판정할 수 있는가’라는 조건 하나다. 그 조건을 업무 쪽에 놓는 것은 카파시의 주장이 아니라 이 글의 추론이다.

수용 기준이 있다고 일이 사람 손을 떠나지는 않는다. 수용 기준이 있는 일에서도 어디까지 사람에게 묻지 않고 실행하게 할지, 실패를 어떻게 복구할지는 따로 정해야 한다.

원문의 ‘완료’는 결과를 만든 것과 결과가 수용된 것을 가르지 않는다. 카파시는 셋째 층 사람들이 몇 주에서 몇 달 걸리던 크고 복잡한 프로젝트를 에이전트가 프롬프트 하나로 완료하는 것을 직접 본다고 썼다. 그 문장에는 무엇을 통과해야 완료인지도, 검증에 든 비용도 나오지 않는다. 결과물만 만들었다는 뜻은 아니다. 수용됐는지 판단할 정보가 글에 없다는 뜻이다.

이 글에서 완료는 두 조건을 함께 채운 상태다. 결과가 요구 품질로 수용됐다. 실패와 재작업까지 더한 총비용을 감당할 수 있다.

매번 묻지 않아도 되는 업무의 설계#

반복 승인 없이 맡길 수 있는 업무의 경계는 네 조건이 정한다. 성공을 판별할 수 있는가, 오류를 발견할 수 있는가, 손실을 제한할 수 있는가, 복구할 수 있는가. 이 넷은 목적이 아니라 경계를 정하는 조건이다.

바꿀 항목은 성공 판정, 권한, 도구, 손실 한도다. 이것을 먼저 바꾼다. 그 결과로 맡길 수 있는 범위가 넓어지는지 잰다. AI에게 맡긴 시간이나 가장 길게 혼자 일한 사례는 결과를 보여 주는 지표다.

고객 데이터베이스의 열 하나를 바꾸는 마이그레이션으로 가상의 예를 든다. 설계가 없으면 단계마다 사람에게 돌아온다. 사람이 스크립트를 읽은 뒤 승인한다. AI가 운영 데이터베이스에서 스크립트를 돌린다. 사람이 결과를 다시 본다.

설계를 바꾸면 경계가 움직인다. 작업 전에 수용 기준을 적는다. 행 수가 같아야 한다. 바꾸지 않은 열의 체크섬도 그대로여야 한다. 손실 한도는 권한으로 건다. AI의 자격 증명으로는 운영 데이터베이스의 복사본에만 쓸 수 있다.

복구는 시작 전에 뜬 스냅숏과 미리 시험한 되돌림 스크립트가 맡는다. 이제 AI는 복사본에서 실패해도 사람에게 묻지 않는다. 정해 둔 시도 횟수와 시간 안에서 되돌린 뒤 다시 시도한다. 한도를 넘거나 운영에 반영할 때만 사람에게 돌아온다. 반영한 뒤에는 그 열을 읽는 다음 작업의 오류를 지켜본다. 기준을 통과하고도 남은 오류를 발견하는 장치다.

내 작업에서도 이 경계를 옮겼다. 2026-10-14 나는 내 저장소에서 일하는 AI에게 이렇게 지시했다.

니가 가진 스킬, 지식들 활용해서 결정하고 나한테 permission 를 묻지마라. 문제가 해결될 때까지 recursive 하게 개선하되 reversible 한 결정은 나에게 묻지 않아야 한다. 결정을 설명만 하면 된다.

되돌릴 수 있는 결정은 AI가 정한다. 나에게는 설명만 한다. 같은 날부터 그 저장소에서 AI가 일을 나눠 맡기려고 띄우는 서브에이전트는 시작할 때 도는 훅을 통해 이 원칙을 주입받는다. 저장소의 공용 에이전트 규칙은 되돌릴 수 없는 행동을 따로 묶어 둔다. 운영·스테이징 배포와 정규 릴리즈, 데이터 삭제, 외부 발신·게시·결제, 시크릿·보안 설정 변경은 맡기는 쪽이 명시적으로 허가한 것만 한다. 이 변경이 내 인지부하나 생산성을 바꿨는지는 측정하지 않았다.

되돌릴 수 있다는 것이 복구 비용이 없다는 뜻은 아니다. 되돌리려면 먼저 잘못을 알아채야 한다. 알아채지 못한 오류는 되돌릴 수 있어도 되돌려지지 않는다. 정보가 밖으로 샜거나 메시지가 이미 나갔다면 되돌릴 방법이 없다. 그런 행동에는 별도의 승인을 둔다. 되돌릴 수 있는 성질, 곧 가역성은 네 조건 가운데 복구 하나를 채울 뿐이다.

반론#

주장은 ‘넓힐 수 있다’까지다. 설계가 모든 업무에서 범위를 넓힌다는 주장이 아니다. 어느 업무에서 넓어지는지는 재 봐야 안다.

반론 1 — 기준을 통과해도 실제 목적에는 실패할 수 있다#

“수용 기준은 목적의 대리 지표다. 테스트를 통과한 코드도 사용자의 일을 망칠 수 있다. 체크섬이 맞는 마이그레이션도 다음 달 보고서를 틀리게 만들 수 있다. 반복 승인을 걷어 내면 그 실패를 볼 사람이 사라진다. 검증까지 AI에게 맡기면 결과를 만든 AI와 검증한 AI가 같은 맹점을 가질 수 있다.”

요구 품질을 낮춘 결과는 위임이 넓어진 것으로 세지 않는다. 검토 부담을 다음 팀이나 사용자에게 넘긴 결과도 세지 않는다. 그런 결과에서 줄어든 것은 비용 전체가 아니라 맡긴 사람의 몫이다.

결과를 만든 AI와 검증하는 AI가 같은 오류를 낼 수 있다는 지적은 맞다. 그 오류를 잡으려면 검증에 실제 결과와 이어진 독립 신호가 하나는 있어야 한다. 사용자가 보고한 오류나 되돌린 배포의 수가 그런 신호다. 검증에 그런 신호가 있고 같은 요구 품질에서 총비용까지 줄었다면, AI가 하는 검증은 논지의 반례가 아니라 그 구현이다.

반론 2 — 카파시는 어림셈이라고 먼저 밝혔다#

“카파시는 네 숫자를 어림셈이라고 먼저 밝혔다. 감을 주려고 그린 스케치를 통계처럼 따지면 과녁을 빗나간다.”

자릿수는 양보한다. 비판은 반올림에 있지 않다. 정밀한 조사로 네 층의 머릿수를 다시 세어도 층마다 축이 다르다는 문제는 그대로 남는다. 접촉 빈도와 제품 등급, 직업, 접근권을 함께 쓴 분류에서도 집단의 크기는 셀 수 있다. 그 숫자만으로 사람의 AI 이해를 한 줄로 세우거나 다음 층으로 가는 방법을 정할 수는 없다.

이 결론이 무너지는 경우#

설계를 바꾼 뒤 같은 요구 품질에서 수용된 결과 하나당 사람 시간과 총비용이 줄지 않으면, 그 업무에서는 효과를 주장하지 않는다. 실제 목적의 실패가 늘면 테스트 통과율이 얼마든 그 설계는 실패다.

실패까지 세는 비교 실험#

남은 일은 재는 것이다. 비교 조건은 같은 모델과 접근권, 비슷한 과제, 같은 요구 품질이다. 설계를 바꾸기 전과 후에 시도한 일을 모두 센다. 성공만이 아니라 실패, 폐기, 재작업까지 넣는다. 그 위에서 수용된 결과 하나당 사람 시간, 총비용, 손실을 비교한다. 모델을 바꿔 가며 수용된 결과를 세는 측정과 달리, 이 실험은 모델을 고정하고 일의 설계만 바꾼다.

얼마나 줄어드는지는 미리 적지 않는다. 그 숫자는 실험이 낸다. 그 기록이 답하는 것은 몇 층에 서 있는가가 아니라 일이 어디까지 사람 손을 떠났는가다.

출처#