AI 코딩 보조 도구를 쓰면 더 많은 일을 끝낼 수도 있습니다. 하지만 생산성이 높아졌다는 기사만으로 내가 몇 시간을 아낄지는 알 수 없습니다. 공개된 현장 실험에는 완료한 작업이 늘었다는 결과도, 작업 시간이 더 길어졌다는 결과도 있습니다. 연구마다 참여자와 도구, 측정한 결과가 달랐기 때문입니다.

더 유용한 질문은 하루 중 어디에 시간을 쓰느냐는 것입니다. 코드를 작성하는 데 쓰는지, 저장소를 이해하는 데 쓰는지, 에이전트의 응답을 기다리거나 변경 사항을 검토하는 데 쓰는지 나눠 볼 필요가 있습니다. 두 연구와 METR의 2026년 후속 자료를 보면 이 구분이 왜 중요한지 알 수 있습니다. 어느 자료도 2026년 10월의 코딩 에이전트가 시간을 몇 퍼센트 줄여 주는지 측정한 결과는 아닙니다.

두 실험은 서로 다른 것을 측정했습니다

Cui 연구진은 세 기업의 초기 GitHub Copilot 도입을 연구했습니다. METR의 Becker 연구진은 익숙한 저장소에서 작업하는 숙련된 오픈소스 개발자를 연구했습니다. 서로 별개로 진행한 연구이며, 아래는 각 연구진이 보고한 결과입니다.

과거 현장 실험의 결과입니다. 완료한 작업 수가 늘었다는 것과 작업 시간이 달라졌다는 것은 서로 다른 지표입니다.

연구·조건 측정 지표 보고된 결과 해석의 한계
Cui 외: 2022–2023년 시작한 기업의 Copilot 실험 주간 완료 풀 리퀘스트 수 26.08% 증가, 표준오차 10.3퍼센트포인트 실제 도구 사용을 반영해 조정한 추정치. 절약한 시간(분)을 측정한 값은 아님
METR: 익숙한 오픈소스 저장소, 2025년 2월–6월 과제당 구현 시간 19% 증가, 보고된 신뢰구간은 2%–39% 증가 당시 도구를 사용한 소수의 숙련 개발자가 대상

풀 리퀘스트가 늘었다고 그만큼 시간이 줄어든 것은 아닙니다

Cui 연구진의 2025년 2월 논문은 Microsoft, Accenture, 익명의 Fortune 100 기업에서 각 회사가 수행한 실험 세 건을 종합했습니다. 전체 표본은 개발자 4,867명입니다. 실험은 각각 2022년 9월, 2023년 7월, 2023년 가을에 시작했습니다. 당시 도구는 편집기 안에서 코드를 자동 완성하는 방식이었습니다. 오늘날의 자율 코딩 에이전트를 시험한 연구는 아닙니다. 정확한 백엔드 모델 버전과 토큰 예산은 공개되지 않았습니다.

회사들은 도구 접근 권한이나 초대 시점을 무작위로 배정했습니다. 권한을 받아도 Copilot을 사용하지 않은 개발자가 있었습니다. 연구진은 이 무작위 배정을 바탕으로 실제 사용의 효과를 추정했습니다. 두 집단의 도구 사용률 차이가 큰 기간에 더 높은 가중치를 주고, 회사별 추정치도 정밀도에 따라 가중치를 달리해 합쳤습니다. 표에 적힌 수치는 이렇게 조정한 결과입니다. 라이선스를 제공받은 집단 전체와 대조군 전체를 단순 비교한 차이가 아니며, 회사별 추정치에는 각각 불확실성이 있습니다.

완료된 풀 리퀘스트는 팀의 작업 관행 안에서는 유용한 단위입니다. 하지만 작업에 걸린 시간이나 변경 규모, 만들어 낸 가치까지 알려 주지는 않습니다. 기능 하나를 여러 풀 리퀘스트로 나누면 건수는 늘어도 실제 개발 성과가 나아졌다고 보기는 어렵습니다. 따라서 내 작업 방식을 평가할 때도 작업 건수를 시간·품질과 함께 봐야 합니다. 연구에서 늘어난 작업 건수의 비율을 그대로 절약한 시간으로 바꿔 읽을 수는 없습니다.

익숙한 코드에서는 검토에 드는 시간이 더 중요할 수 있습니다

METR은 숙련 개발자 16명이 수행한 실제 과제 246건에 대해 과제별로 AI 사용 허용 여부를 무작위 배정했습니다. 개발자들은 자신이 잘 아는 대규모 저장소에서 작업했습니다. 실험 기간은 2025년 2월–6월이며, 주로 Cursor Pro에서 Claude 3.5 또는 3.7 Sonnet을 사용했습니다. 개발자가 구현 시간을 직접 보고하고 화면도 녹화했습니다. 주요 시간 추정치는 무작위 배정 전에 예측한 과제 난이도를 반영해 조정한 값입니다.

실험 전 개발자들은 AI가 시간을 24% 줄여 줄 것으로 예상했습니다. 실험 후에도 약 20% 빨라졌다고 생각했습니다. 실제로 측정된 시간 증가와는 다른 인식입니다. METR은 저장소에 대한 익숙함, 도구에 전달되지 않은 맥락, 신뢰하기 어려운 제안, 프롬프트 작성·대기·검토에 드는 시간 등을 그 요인으로 짚었습니다.

익숙한 코드의 버그를 고칠 때도, 그럴듯한 변경안을 저장소의 관례와 테스트, 문서에 맞춰 꼼꼼히 확인해야 할 수 있습니다. 핵심은 제안 덕분에 줄어든 작업량이 검토 때문에 늘어난 작업량보다 큰지입니다. 이 연구만으로 대부분의 개발자가 AI 때문에 느려진다거나 이후 도구에서도 같은 결과가 나온다고 말할 수는 없습니다. 다만 어떤 상황을 주의 깊게 살펴봐야 하는지는 알려 줍니다.

2026년 후속 연구가 결과를 명확히 뒤집은 것은 아닙니다

METR은 2025년 8월 후속 연구를 시작해 2026년 2월 24일 결과를 발표했습니다. 기존 참가자 10명과 새 참가자 47명이 참여했습니다. 기존 참가자의 점추정치는 작업 시간 18% 감소였지만, 구간은 38% 감소부터 9% 증가까지 걸쳐 있었습니다. 새 참가자는 4% 감소였고, 구간은 15% 감소부터 9% 증가까지였습니다. 두 구간 모두 시간 변화가 없는 경우와 오히려 더 오래 걸리는 경우를 포함합니다.

연구진도 이 데이터로 당시 AI의 효과를 신뢰성 있게 판단하기는 어렵다고 경고했습니다. AI 없이 작업하고 싶지 않아 연구 참여를 거절하는 사람이 늘었고, 참가자도 같은 이유로 일부 과제를 연구에 넣지 않았습니다. 참가 보수는 시간당 $150에서 $50으로 내려가 참여자의 구성에 영향을 주었을 수 있습니다. 다른 일을 하면서 여러 에이전트를 동시에 실행하는 방식 역시 과제별 시간 기록을 해석하기 어렵게 했습니다.

자신의 생각에 맞는 추정치 하나를 고르기보다 이런 한계를 먼저 봐야 합니다. 후속 연구는 작업 조건이 달라지고 있었음을 시사하지만, 현재 도구가 얼마나 빨라졌는지 신뢰성 있게 확정하지는 못합니다. 같은 연구진이 수행했고 참가자 일부도 겹치므로 독립적인 재현 연구가 아닙니다. 현재 Claude Code나 Codex의 특정 버전에 생산성 향상 비율을 부여할 근거도 아닙니다.

최신 설문은 사람들이 체감한 효과를 물었습니다

METR의 2026년 5월 보고서는 2월–4월 기술 업무 종사자 349명을 설문한 결과이며, 이 중 소프트웨어 엔지니어는 87명입니다. 응답자가 보고한 업무 가치 변화의 중앙값은 질문 표현에 따라 1.4–2배였고, 작업 속도 변화의 중앙값은 3배였습니다. 참여하기 쉬운 사람들을 모은 편의표본의 자기 보고 추정치이며, 시간을 직접 잰 실험 결과가 아닙니다. 연구진 역시 이런 응답이 실제 효과와 얼마나 일치하는지 의문을 제기했습니다.

가치와 속도는 함께 움직이지 않을 수도 있습니다. 대시보드를 하나 더 빨리 만든다고 프로젝트의 가치까지 높아지는 것은 아닙니다. 반대로 도구 덕분에 원래는 시도하지 못했을 가치 있는 일을 할 수도 있습니다. 이 설문은 그런 가능성을 보여 줍니다. 앞선 두 실험 중 어느 한쪽의 인과적 결과를 확인해 주는 자료는 아닙니다.

실제로 채택한 작업 결과를 간단히 기록해 보세요

한 저장소의 작은 버그 수정처럼 반복되는 작업 유형 하나를 고르세요. 결과를 기록하기 전에 무엇을 완료로 볼지 정해야 합니다. 패치가 생성된 상태와 테스트·검토를 거쳐 팀이 채택한 변경은 서로 다른 결과입니다.

아래는 내 작업을 살펴보기 위한 기록 방법의 제안입니다. 새 실험 결과가 아닙니다. 시간이 어디에 들고 어떤 변경이 실제로 쓸모 있게 남는지 확인하는 데 도움이 됩니다.

  • 과제와 완료 기준을 적습니다. 테스트와 검토 조건도 포함합니다.
  • 사람이 직접 작업한 시간(분), 전체 경과 시간, 에이전트 대기 시간을 구분합니다. 다른 일과 겹친 시간도 표시합니다.
  • 검토·재작업 시간, 최종 채택된 결과, 나중에 발견된 결함을 기록합니다.
  • 확인 가능한 도구·모델·버전과 작업 방식의 변화를 함께 적습니다.

기록이 쌓이면, 비슷한 수준의 승인된 변경을 만드는 데 사람이 들이는 시간(분)이 줄었는지, 그 과정에서 결함이 늘지는 않았는지 살펴보세요. 소규모 개인 기록만으로 인과관계를 입증할 수는 없습니다. 도구에 익숙해지는 정도나 선택한 과제가 달라져도 결과는 바뀝니다. 그래도 다른 사람의 작업에서 나온 비율을 그대로 적용하는 것보다 내 작업 방식을 조정할 근거로는 더 유용합니다.

출처

Claude Radar는 원저자들이 발표한 결과를 종합했습니다. 실험을 다시 수행하거나 참가자 데이터를 재분석하지는 않았습니다. 2026년 10월 3일 확인한 자료는 Cui, Demirer, Jaffe, Musolff, Peng, Salz의 2025년 2월 논문과 Microsoft Research 요약, Becker, Rush, Barnes, Rein의 2025년 7월 METR 논문, METR의 2026년 2월·5월 후속 자료입니다. 기업 실험의 공동저자 중에는 Microsoft 직원이 있습니다. 앞서 사용 데이터 누락으로 중단된 Accenture 실험은 주요 결과의 표본에 포함되지 않습니다. 논문과 그 요약 페이지를 별개의 재현 연구로 세지 않았습니다. 이 과거 실험과 이후의 자기 보고 자료는 2026년 10월 도구의 성능을 측정한 결과가 아닙니다.