🔬연구 개요
마지막 학년 IT 도제가 ChatGPT와 함께라면 정규 훈련 범위 밖의 과제도 더 잘 풀 수 있는지를, 교육과정 안팎의 과제로 나누어 측정한 무작위 현장 실험입니다.
N = 673명독일 6개 주 · 12개 직업학교23회 실험
2025.10 – 2026.01응용개발 30% · 시스템통합 70%평균 약 23.5세 · 여성 9%
🧭핵심 개념: 심화와 확장
🧪실험 설계
1. 무작위 배정학교 안에서 참가자별로 카드를 뽑아 처치군과 대조군을 나눔. AEA RCT Registry 사전등록
2. 처치 vs 대조처치군: 개인 ChatGPT Pro 계정 + 인터넷
대조군: 원칙적으로 인터넷 없음
3. 과제 3개교육과정 안 1개 + 밖 2개
과제당 20분 · 최대 40점
4. 이해도 문항과제 직후 AI 없이 객관식 4문항
비교 대상은 AI 대 비AI가 아니라 「AI와 인터넷 접근」 대 「인터넷 없는 수행」입니다. 실험 시기에 따라 GPT-4o, GPT-5.1, GPT-5.2가 쓰였습니다.
📊전체 표본: 지표별 효과
🎓전공별 점수 비율 효과
AI 접근으로 늘어난 획득 점수 비율 (%p)
😌좌절감과 즐거움 (표준편차 단위)
좌절감즐거움
좌절감이 줄고 즐거움이 커진 것은 어려운 문제에 대한 참여 지속과 관련될 수 있지만, 실제 장기 지속성을 측정한 결과는 아닙니다.
📖AI 활용 리터러시와 이득
교육과정 안 과제의 AI 효과 (%p)
+14.2%p높은 집단 − 낮은 집단 (유의)
n.s.밖의 첫 과제 차이
6.9%p밖의 둘째 과제 차이 (10% 수준)
리터러시는 처치 후 자기보고로 측정했고 교육을 무작위로 제공하지 않았습니다. 리터러시 수업이 생산성을 높인다는 인과적 증거는 아닙니다. 기존 학력에 따른 차이는 일관되지 않았습니다.
⌨️AI 사용 로그
6.3회세 과제 평균 질문 횟수
65%상세 프롬프트 자료 확보 (처치군)
질문 유형 (약 비율)
AI 답변을 제출물에 직접 옮기는 행동은 높은 점수와 연관됐지만, 사용 방식은 무작위 배정이 아니므로 「복사하면 배운다」는 결론은 나오지 않습니다.
🔍읽을 때 주의할 점
💡교육·채용에 주는 질문
채용 연결은 가설
신입이 제공할 수 있는 기여의 내용이 변할 수 있으므로 채용과 훈련의 연결을 다시 검증해야 합니다. 독일 IT 도제의 효과 크기를 한국 대졸자에게 그대로 옮길 근거는 없습니다.
과제별 구분
어떤 개념은 이미 알아야 하고 어떤 부분은 도구 도움으로 탐색할 수 있는지 과제별로 나눌 필요가 있습니다.
도구 없는 확인
AI 보조 수행 뒤에 도구 없는 짧은 설명, 새로운 사례 적용, 지연 평가를 붙이는 방안입니다. 논문이 시험한 수업 모형이 아니라 리뷰에서 도출한 평가 제안입니다.