AI導入の成果を測る指標として、これまで多かったのは利用者数や、AIが書いたコードの割合でした。発表は、この段階はもう終わったと見ています。
利用そのものは、指標としての意味が薄くなったというのが発表の立場です。背景で動く機能や、会社が把握していない非公式のツールまで数えると、開発者とAIのかかわりはほぼ全員に広がっています。
個々の作業は速くなったが、全体の成果は横ばい
ところが、経営層が全体の成果を見ると、ずれが見えてきます。個々のコーディングは速くなりましたが、新しい機能や価値を届ける力は、それほど増えていません。
DXのデータでは、定期的にAIを使う開発者が週6時間以上の時間を節約したと報告しています。主な数字は次のとおりです。
- AIを定期的に使う開発者は、週6時間以上の節約を報告
- 新しく入ったエンジニアが10本目のPR（コードの変更依頼）をマージするまでの日数は、約70日から30日へ。2024年初頭から約57〜58%短縮
- 文書（ドキュメント）への開発者の満足度は、1年強で約20%向上
数字だけを見ると、開発は一気に加速したように見えます。ただ、開発の流れをさらに追うと、ひずみが出ています。
PRの大きさの中央値は、2026年4〜6月期（Q2）の調査で約40行から70行超に増えました。7〜9月期（Q3）のデータでは、この傾向がさらに続いています。PRの大きさは過去4四半期で122%増え、Q2からも38%増えました。
保守しやすさへの評価は上がりました。一方で、変更への自信は、その上昇幅の2倍落ちています。AIが知らないコードを読む手助けをしてくれても、出来上がった変更は信用しにくくなっているという意味です。
業界全体の革新の比率（新しい顧客価値を届けるために使われる時間の割合）は、1ポイントほどしか動いていません。発表は、ここを一番重く見ています。コードの量だけを増やすと、レビューが詰まり、リリースへの自信が下がります。その場合、会社は速くなったのではなく、詰まる場所が移っただけになる、というのが発表の指摘です。
6時間は、どこへ消えるのか
コードを書く作業は、エンジニアの1週間の約16%にすぎません。残りの約84%は、要件の整理、設計、環境構築、チーム間の調整、テスト、セキュリティ審査、障害対応に使われています。AIが縮められるのは、このうちコードを書く部分だけです。
13万人以上の開発者を調べた研究では、会議の多さ、割り込み、フィードバックの遅れで失う時間が、AIで得た時間を大きく上回っていました。
Dropboxのエンジニアリング生産性担当シニアディレクター、Uma Namasivayam氏は、コードの生産量を3倍にすると、前後の工程が追いつかずに詰まると説明しました。製品の要件を決める工程や、テストの自動化がコードの速さに合わせて進まないと、完成したコードが待ち行列にたまるというのです。
Dropboxは、AIを単独のコード生成ツールとしてではなく、開発の流れ全体の改善策として扱いました。会議の見直しで、開発者の集中時間を示すスコアを11ポイント上げました。
また、AIの利用量を数える単位（トークン）の予算を決め、利用料を作業項目やPRの成果と結びつけています。空いた時間は、言語の移行や依存関係の更新など、後回しにしていた保守作業に回しています。
4つの層で測る
発表は、AIの効果を測るには、AIが書いたコードの割合をやめて、次の4つの層で見るべきだとしています。
- 開発の流れ全体（構想から顧客まで）：構想から本番リリースまでの時間を測ります。PRを作る時間は縮んでも、レビューやQAの時間が延びていないかを確かめます。
- 品質と変更の健全性：変更の失敗率、ロールバック（元に戻す作業）の頻度、PRのレビュー時間を、コード生成の量と並べて見ます。
- 空いた時間の使い道：浮いた時間が新機能や顧客への試行に回っているか、組織内の雑務に吸われていないかを確認します。
- 開発者の体験と詰まり：DXIなどの調査で、現場の声を定期的に集めます。ビルドや環境準備の遅れを減らすほうが、コードの補完を改善するより効果が大きい場合があるとしています。
開発の流れを1つにつなぐ
発表は、3つの仕組みをまとめて挙げています。
- つながった文脈：仕様書、設計、コードレビュー、サービスの依存関係をAIにつなぎ、判断の精度を上げる
- 中央の管理：開かれた記録の仕組み（system of record）で開発の流れを管理し、ツールと業務の情報を切り離しつつ、監査の記録を残す
- 先回りの自動化：計画、定期的な保守、レビュー、運用を、出来事に応じて動くエージェントが担う
日本の開発現場では、まず社内の数字を比べる
この発表のデータは500社以上の組織を対象にしたものです。日本企業だけの数字はまだ示されていません。日本の開発現場で同じ考え方を使うなら、まずPRの大きさと変更の失敗率を社内の今の数字と比べるのが第一歩です。発表は、AIがコード生成の課題をほぼ解決したあと、次の競争は運用の面にあるとまとめています。成果を出す組織は、コードを多く書く組織ではなく、開発者の時間を価値に変える仕組みを作る組織だとしています。
