AIコーディングの補助ツールは、仕上げられる仕事を増やすことがあります。ただし生産性の見出しだけでは、何時間節約できるかは分かりません。公表された現場実験では、完了した仕事が増えた結果と、課題にかかる時間が長くなった結果の両方が出ています。調べた人、ツール、結果は研究ごとに違います。
役に立つ問いは、働く一日の時間がどこへ行くかです。コードを書く時間か、リポジトリを理解する時間か、エージェントを待つ時間か、その変更を確かめる時間かです。二つの研究と、それに続くMETRの2026年の更新は、この区別がなぜ重要かを示しています。どの資料も、2026年10月に使えるコーディングエージェントについて測定された割合は示していません。
二つの実験、二つの異なる測り方
Cuiらは、3社における初期のGitHub Copilot導入を調べました。METRのBeckerらは、慣れたリポジトリで働く経験豊富なオープンソース開発者を調べました。これらは別々の研究であり、下の数字はそれぞれの報告結果です。
過去の現場実験。完了した仕事の増加は、課題時間の変化と同じ指標ではありません。
| 研究と設定 | 測ったもの | 報告された結果 | 主な限界 |
|---|---|---|---|
| Cuiら:2022–2023年に始まった企業のCopilot試験 | 週あたりの完了プルリクエスト | 26.08%多い。標準誤差は10.3パーセントポイント | 導入を調整した推定であり、節約された分の測定ではない |
| METR:慣れたオープンソースのリポジトリ、2025年2月–6月 | 課題あたりの実装時間 | 19%長い。報告された信頼区間は2%–39%長い | その時期のツールを使った、小規模で経験豊富な標本 |
プルリクエストが増えても、同じ割合だけ時間が減るわけではありません
Cuiらの2025年2月の論文は、Microsoft、Accenture、匿名のFortune 100企業で各社が実施した3件の試験をまとめたものです。合わせた標本は開発者4,867人です。試験の開始はそれぞれ2022年9月、2023年7月、2023年秋です。ツールが提供したのはエディタ内のコード補完であり、今日の自律型コーディングエージェントの試験ではありません。バックエンドのモデルの正確な版とトークン予算は開示されていません。
各社はアクセス、または招待のタイミングを無作為に割り当てました。アクセスを得てもCopilotを導入しない開発者もいました。著者らはそのため、無作為割り当てを用いて導入の効果を推定し、群の間で導入の差がより大きかった期間により大きな重みを置いたうえで、会社ごとの推定を精度に応じて結合しました。表の結果はこの調整済み推定であり、ライセンスを提示された全員と対照群の全員との単純な差ではありません。各社の推定は不確実です。
完了したプルリクエストは、チームの慣行のなかでは有用な仕事の単位です。課題にどれだけ時間がかかったか、変更がどれだけ大きかったか、どれだけの価値を届けたかは分かりません。一つの機能を複数のリクエストに分割すれば、件数は上がっても、届けたものが必ずしも良くなるわけではありません。自分の作業の流れを見直すときには、産出の件数に時間と品質を添える理由がここにあります。研究の割合を節約された時間へ読み替える理由にはなりません。
慣れたコードでは、レビューのコストがより大きくなりえます
METRは、経験豊富な開発者16人が完了した実際の課題246件のそれぞれについて、AIの使用を許すかどうかを無作為に決めました。開発者はすでに知っている大規模なリポジトリで作業し、2025年2月–6月には主にCursor ProとClaude 3.5または3.7 Sonnetを使いました。実装時間は開発者自身が報告し、画面も録画しました。見出しの時間推定は、無作為化の前に行った課題難易度の予測を考慮して調整されています。
作業の前、開発者はAIが時間を24%減らすと予想していました。終わった後も、AIのおかげで約20%速くなったと考えていました。これらの認識は、測定された時間の増加とは異なっていました。METRの分析が挙げる要因には、リポジトリへの慣れ、欠けている文脈、信頼できない提案、そしてプロンプトの作成、待機、レビューに費やした時間があります。
慣れたバグ修正でも、もっともらしく見える変更は、その場の規約、テスト、文書と突き合わせてかなりの確認が必要になることがあります。実務上の問いは、提案が省く仕事が、その確認で増える仕事を上回るかです。この研究は、ほとんどの開発者が遅くなることや、後のツールが同じように振る舞うことを確立してはいません。設定が狭いことは、普遍的な判定を出すのではなく、調べるべき状況を特定するからこそ有用です。
2026年の追跡は、きれいな反転ではありません
METRは2025年8月に継続研究を始め、2026年2月24日に報告しました。再び参加した開発者10人と、新しい参加者47人が含まれます。再び参加した開発者の点推定は時間が18%短いというもので、区間は38%短いから9%長いまでにわたります。新しい参加者の推定は時間が4%短いというもので、区間は15%短いから9%長いまでです。どちらの区間にも、変化なしとある程度の遅延が含まれます。
著者らはまた、このデータが現在の効果を示す信号としては信頼できないと警告しました。AIなしでは働きたくないという理由で参加を断る人が増え、参加者も同じ理由で一部の課題を出していません。参加報酬は時給$150から$50へ下がり、誰が参加するかが変わった可能性があります。別の仕事をしながら複数のエージェントを動かすと、課題時間の記録も解釈しにくくなりました。
これらの限界は、自分の見方を支える点推定をどれか選ぶことより重要です。追跡研究は状況が変わりつつあったことを示唆しますが、現在の高速化の大きさを信頼できる形では確立していません。同じ研究グループから出ており、参加者の一部も重なるため、独立した再現ではありません。いま使われているClaude CodeやCodexの特定の版に、生産性の割合を割り当ててもいません。
新しい調査が測るのは、人々が信じていることです
METRの2026年5月の報告は、2月–4月に技術職349人を調査し、そのうちソフトウェアエンジニアは87人です。回答者は、質問の言い回しを通じて、自分の仕事の価値が中央値で1.4–2x変わったと報告し、速度は中央値で3x変わったと報告しました。これは便宜的標本による自己報告の推定であり、時間を計測した実験結果ではありません。著者らは、報告された利得が現実とどの程度一致するかを明示的に疑問視しています。
価値と速度は食い違うこともあります。ダッシュボードを一つ余計にすばやく作っても、基盤となるプロジェクトの価値が必ず高まるわけではありません。逆に、補助がなければ手を付けなかった価値ある仕事が可能になることもあります。調査はこれらの可能性を視野に入れるものであり、先行する二つの実験のどちらも因果的には確認しません。
実際に受け入れた仕事を小さく記録します
一つのリポジトリの小さなバグ修正のように、繰り返し現れる課題の類型を一つから始めます。結果を記録する前に、何をもって完了とするかを決めます。生成されたパッチだけでは、テストとレビューを経てチームが受け入れる変更とは別の成果です。
以下は自分の仕事のための記録案であり、新しい実験結果ではありません。時間がどこへ行くか、どの変更が役に立ったまま残るかを見えるようにします。
- 課題と、テストやレビューを含む完了基準を記録します。
- 人が実際に手を動かした分を、経過時間およびエージェントを待った時間と分け、重なって進めた仕事も記します。
- レビューと手戻りを含め、受け入れた成果とその後の欠陥を記録します。
- 分かるときはツール、モデル、版を記し、作業の進め方の変化も残します。
その記録を使い、同程度に受け入れられた変更が、欠陥の記録を悪化させずに、人の手がかかる分をより少なく要するかを問います。小さな個人の記録では因果を確定できず、学習や課題の選び方が結果を変えることもあります。それでも、他人の仕事で測られた割合を借りてくるよりは、自分の作業の進め方を調整する根拠としては優れています。
出典
Claude Radarは著者らが公表した知見を総合したもので、実験の再実施や参加者データの再分析は行っていません。2026年10月3日に確認した資料は、Cui、Demirer、Jaffe、Musolff、Peng、Salzの2025年2月の論文とMicrosoft Researchの要約、Becker、Rush、Barnes、Reinの2025年7月のMETR論文、そしてMETRの2026年2月と5月の更新です。企業での試験にはMicrosoft所属の共著者が含まれます。利用データが欠けて打ち切られた、より以前のAccentureの試験は、見出しの結果に使った標本の外にあります。論文とその要約ページは、別々の再現研究ではありません。これらの過去の実験とその後の自己報告は、2026年10月のツールを測定していません。
- Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity - METR
- We are Changing our Developer Productivity Experiment Design - METR
- Measuring the Self-Reported Impact of Early-2026 AI on Technical Worker Productivity - METR
- The Effects of Generative AI on High-Skilled Work: Evidence from Three Field Experiments with Software Developers - Microsoft Research
- Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity
- economics.mit.edu: Draft Copilot Experiments.Pdf