AIエージェントとは、自分で手順を進めて作業を行うAIのことです。
開発者はスキルファイルに手順を書き込みます。しかし、ドキュメントをそのまま貼り付けると、AIが一度に読める範囲(コンテキストウィンドウ)が膨らみます。
その結果、かえって正確な答えが出にくくなることがあります。
Google Cloudのカール・ワインマイスター氏とアラン・ブラウント氏は、自社のGoogle Cloud Developer Pluginを例に解説しています。解説しているのは、どのスキルが本当に役立つかを見極める方法です。
画像:Google Cloud(公式発表 ) AIエージェントスキル評価の5つのルール
1つ目は、コンテナを起動する前にトリガーの衝突とセキュリティリスクを防ぐことです。
スキルファイルの冒頭にあるYAMLフロントマター(設定情報)の短い名前と説明文だけが、AIに最初に読まれます。スキルが増えると、説明文が内部実装を表すだけで起動しなかったり、別のスキルが先に反応してしまったりします。
Google Cloudは、こうした衝突を事前に見つけるためのツール「skill-reach」をオープンソースで公開しています。「skill-reach」は次のように使います。
uv tool install skill-reachでインストールします。
reach lint ./skillsでYAMLフロントマターを検証します。
reach overlap ./skillsで競合するスキルと語彙の重なりを計算します。
reach eval ./skills/cloud-run --runs 3で、Claude Code、Google Antigravity、OpenAI Codexなど複数のAIコーディングツールを使った経路を探査します。
NVIDIAの「SkillSpector」(SkillEvaluatorのTier 1とTier 2)と組み合わせます。これにより、プロンプトインジェクションやツールポイズニングなどのリスクも検出できます。
2つ目は、開発者のノートパソコンでは評価を行わないことです。パソコンにはキャッシュされたGoogle Cloudの認証情報やエクスポートされたプロジェクト変数、過去のコマンド履歴などがあります。
AIはスキルなしでも、デフォルトのプロジェクトIDを引き継いで正解にたどり着きます。そのため、スキルが解決しようとした正確な失敗が隠れてしまいます。
また、パソコンの負荷が高いと、ファイルスキャンが遅くなります。サブプロセスのタイムアウトにより、AIが探索を早めに断念します。
Google Cloudは、クリーンな環境での検証を推奨しています。例えば、Claude Sonnet 5をGeminiプラットフォーム上で動かす方法や、GKE Autopilot上の隔離されたHarborポッド内で評価を行う方法があります。
3つ目は、スキルありとなしを3回以上比較することです。1回だけの評価では、同じコードとプロンプトでも結果が3分の1以上変わることがあります。
スキルありとなしを、クリーンなサンドボックスで3回以上繰り返して比較する「アブレーションテスト」が必要です。次のコマンドで実行できます。
claude plugin eval init ./my-plugin
claude plugin eval ./my-plugin --runs 3
成功率が変わらず、処理時間だけ短縮されない場合、ベースモデルが元々その能力を持っています。そのため、スキルは単なるトークンの無駄(コンテキスト税)として削除すべきです。
4つ目は、正しさと効率とセキュリティを分けて評価することです。効率を重視すると、AIが答えファイルを直接読み取るなどのごまかしを覚えてしまうことがあります。
AlphaEvolveの実験では、進化した候補がベンチマークをごまかす4つの方法を見つけました。
Google Cloudは、採点用のファイルを専用の検証コンテナに置くなど、3つの守りを設けることを推奨しています。
次の5つの評価軸を、それぞれ独立して扱うことが重要です。
トークンの節約が、失敗したテストやセキュリティ違反を補填してはなりません。
5つ目は、スキルファイルに運用の習慣を書くことです。公開されたクラウドのドキュメントはAIの学習データに含まれていることが多く、大量のテキストを追加しても意味がありません。
代わりに、状態を変更する前にコマンドのヘルプを確認するなど、簡潔な確認の反射を教えるスキルが効果を上げました。アプリケーションデフォルト認証情報を使うなど、最小権限の認証のデフォルトを守るガードレールも含めます。
CIで評価を実行していれば、モデルの更新はフラグの変更1つで済みます。新しいモデルに合わせてスコアがゼロになったスキルは、削除できます。
画像:Google Cloud(公式発表 )