미국 특허변호사 133명의 3개월 현장 무작위 대조 실험 | Autor 외 (2026) · NBER Working Paper No. 35720
워킹페이퍼 · 동료심사 전 · 2026년 9월본과 10월 7일 수정본사전등록 AEARCTR-0015823 (2025년 5월)연구 수행·직접 비용: Google · 실험 도구: Google Labs 미출시 제품
AI를 쓰는 동안 성과가 오르는 것과 AI 없이 일할 실력이 자라는 것은 다른 문제입니다. 3개월 실험에서 그 차이는 경력에 따라 정반대로 갈렸습니다.
+0.56AI를 쓴 90일차 초안 작성, 주니어 처치 효과 (표준편차)
−0.03AI 없이 한 리드라이닝, 주니어 처치 효과 (표준편차, p=0.89, 0과 구별되지 않음)
1연구 개요
AI 보조가 전문가의 산출물과 전문성 형성에 미치는 영향을 분리해 측정한 3개월 현장 무작위 대조 실험입니다. 실험 기간은 2025년 5월~2026년 2월입니다.
미국 지식재산 로펌 11곳 (제안 24곳 중 응답)분석 단위 12개 로펌 코호트처치:통제 = 2:1 무작위 배정로펌·경력 수준으로 층화시니어 = 경력 7년 이상
참가자 흐름 (명)
무작위 배정 133명의 구성
처치 90명
통제 43명
경력, 연락 응답 속도, 과제 수행 자신감, 연구 이해도 등 관찰 가능한 사전 특성에서 처치와 통제의 유의한 차이는 없었습니다. 참가자는 고용주 동의 아래 실험 과제 시간을 계약 시간당 요금으로 보상받았습니다.
처치 집단
Google Labs의 미출시 전문서비스 작성 보조 AI 접근
문맥·문체 지침·작성 목표 반영, 프롬프트 기반 문장 수정, 여러 AI 편집 페르소나의 피드백, 규칙 기반 내부 모순 검토
2025년 7월 리드라이닝(자동 편집 검토) 기능 추가
추가 교육: 도구 사용법, 특허 작성 특화 프롬프트 라이브러리, 흔한 함정과 대처법
통제 집단
실험 기간 동안 생성형 AI 작성 도구 사용하지 않음
법률 서비스는 정확성과 비밀유지 때문에 AI 사용이 엄격히 통제되어 임의 사용 가능성이 낮다고 저자들은 봄
공통
AI 기초 교육 (용어, LLM 개론, 프롬프트 엔지니어링)
2세 가지 과제와 맹평 채점
과제를 눌러 내용과 측정 정보를 확인하세요. 핵심은 AI를 쓰는 초안 작성과 AI 없이 하는 리드라이닝의 대비입니다.
채점 루브릭 다섯 차원 (Google 사내 변호사와 협력해 개발)
집행가능성기술적 정확성전략적 모호성완결성명료성
독립 지식재산 로펌의 평가자 6인 풀에서 과제당 2명을 무작위 배정해 처치 여부를 모른 채 채점했습니다. 보조 평가로 Gemini 2.5-flash 기반 LLM 채점을 병행했습니다. 결과는 과제별 통제 집단의 평균과 표준편차로 표준화한 의도처치(ITT) 효과이며, 로펌·루브릭 차원 고정효과를 포함하고 표준오차는 개인 수준에서 클러스터링했습니다.
3핵심 결과: 경력별 처치 효과
처치 효과, 통제 집단 기준 표준편차 단위. 가운데 선이 0
4평균이 숨긴 것: 리드라이닝 점수 분포
주니어의 평균 효과 0은 아무 영향이 없었다는 뜻이 아닙니다. 중간 수준이 줄고 양 끝이 함께 늘었습니다.
등급별 비중 변화 (포인트). 등급의 세부 정의는 글에 제시되지 않음
5결과는 얼마나 견고한가
리드라이닝 처치 효과를 여러 방식으로 다시 검정한 결과입니다. 행에 마우스를 올리면 설명이 나옵니다.
검정
전체
시니어
주니어
본 분석
0.32p=0.04
0.45p=0.02
−0.03p=0.89
LLM 채점 병합
0.42
0.54
0.120과 구별되지 않음
순열검정 2,000회 (귀무분포 백분위)
97.1p=0.05
98.7p=0.02
46.8p=0.93
로펌 하나씩 제외
0.22~0.38
0.33~0.55
글에 미제시
시니어 기준 3년~11년
글에 미제시
0.38~0.46모두 5% 수준 이상 유의
모두 불유의
AI 사용 가능 표시 건 제외
0.25p=0.14, 유의성 상실
0.39p=0.06
글에 미제시
15 / 91리드라이닝에서 AI 사용 가능 건으로 표시된 건 (LLM 문체 감사 + 수동 확인)
4 / 29그중 통제 집단에서 표시된 건. 처치 집단에 집중되지 않음
없음리드라이닝에서의 시간 절감. 어느 집단도 없었음
표시된 건은 표시되지 않은 건보다 점수가 유의하게 높지 않았습니다. 이 점검들은 인과추정이 아니라 진단이지만, 무단 사용이 주 결과를 만들었다고 보기 어렵다는 정황입니다. 연구진은 리드라이닝에서 AI 사용 금지를 지시했지만 준수를 직접 관찰하거나 강제하지는 못했습니다.
6시간 절약과 자기평가
7해석: 도약대인가, 받침대인가
저자들의 해석입니다. 기초 전문성이 AI 보조를 지속적인 실력으로 전환하는 전제 조건일 수 있다는 것입니다. 경력을 선택해 경로를 보세요.
이 해석은 Bastani 등(2025)의 튜터 가드레일 결과, Strömberg 등(2026)의 공부 시간 경로와 같은 메커니즘을 가리킵니다. 다만 왜 어떤 주니어에게는 양의 효과가, 다른 주니어에게는 음의 효과가 나타났는지는 이 실험이 답하지 못합니다. 시간 투입이 인과 경로인지 검증하려면 시간 배정을 직접 조작하는 실험이 필요합니다.
선행연구의 지형
8읽을 때 주의할 점
9핵심 시사점
보조 중 평준화 ≠ 실력의 평준화
AI를 쓰는 작업에서는 주니어가 보조 없이 일한 시니어의 평균을 넘어섰지만, AI를 거둬낸 과제에서는 처치 주니어가 통제 주니어와 구별되지 않았습니다. 보조 중 점수만으로 역량을 평가하면 실제 판단력 분포를 오독할 수 있습니다.
전문성은 AI 사용을 학습으로 바꾸는 보완재라는 해석
AI 없이 한 판단 과제에서 향상은 시니어에게서만 나타났고, 처치 집단 안에 통제 집단에는 없던 주니어-시니어 격차가 새로 생겼습니다.
평균이 아니라 분포를 보기
주니어의 평균 효과 0 뒤에는 잘하게 된 주니어와 못하게 된 주니어가 함께 늘어난 양극화가 있습니다. 평균만 보고 AI 교육의 성패를 판단하면 두 경로를 모두 놓칩니다.
체감 향상은 역량 형성의 신호가 아닐 수 있음
처치 주니어는 속도·품질·만족도가 올랐다고 느꼈지만 비보조 판단력은 평균적으로 나아지지 않았습니다. 교육 적용(평가 분리, 기초 단계 무보조 연습, 검토·교정 요구)은 이 논문이 직접 검증한 것이 아닙니다.
10한계와 후속 질문
한계
표본이 작고 주니어 하위표본은 더 작아 주니어 추정이 정밀하지 않음
실험 전 기초 실력 측정이 없음. 참여 로펌들이 사전 평가를 거부해 원래 설계에서 빠졌다고 저자들이 밝힘
3개월은 특허 전문성이 형성되는 수년에 비해 짧음
리드라이닝의 AI 미사용 지시 준수를 직접 관찰하지 못함
연구 수행과 직접 비용은 Google이 제공, 참여 로펌은 Google과 업무 관계, 실험 도구도 Google 제품
후속 연구 방향
기초 실력 사전 측정과 반복적 비보조 평가로 학습 궤적 추적
주니어 안에서 도약대와 받침대 경로를 가르는 사용 방식과 개인 특성 규명
시간 배정을 직접 조작해 절약된 시간의 재배분이 인과 경로인지 검증
의학, 회계, 소프트웨어 등 다른 도제 직종에서 반복
검토를 요구하는 튜터형 인터페이스가 전문직 훈련에서도 주니어의 양극화를 막는지 시험
외부 타당성: 표본은 Google과 업무 관계가 있는 미국 지식재산 로펌의 특허변호사, 도구는 특정 회사의 맞춤형 미출시 제품, 기간은 3개월입니다. 한국의 대졸 신입 채용이나 로스쿨·변호사시험 제도에 직접 대입할 근거는 없습니다.