Microsoft Foundry、AIエージェント最適化機能『Agent Optimizer』の解説動画を公開

何が発表されたのか

Microsoftはクラウドプラットフォーム「Microsoft Foundry」内の機能として、AIエージェントの構成を自動最適化するツール「Agent Optimizer」の実践的な運用手法を公開しました。今回の解説は、プレビュー提供中の最適化機能をベースに、実運用環境で発生する不具合を解決するための具体的な手順を示したものです。

AIエージェントの開発では、プロンプトの書き換えやモデル変更を繰り返しても「10回の呼び出しに1〜2回程度、応答形式が崩れる」「システムプロンプトの指示を漏洩させる」といった不整合が残る課題があります。Agent Optimizerは、推測に基づくプロンプト修復から脱却し、本番環境のトレースデータと評価モデルを活用した定量的な改善サイクルを実現します。

発表された機能・アップデートの全容

手動プロンプト調整からの脱却を可能にする「Agent Optimizer」

動画ではCloud AdvocateのBethany Jepchumba氏が登壇し、プロンプト調整の限界を説明しました。エージェント開発者が「指示の書き換え」「モデルの選定」「ツール割り当て」を行っても、特定の入力パターンで予期せぬ失敗が発生する現象は珍しくありません。

Microsoft Foundryの「Agent Optimizer」は、こうした問題に対し、ヒルクライム（山登り法）的なアプローチで最適なプロンプトと設定を自動探索します。最適化の初期段階として適切なモデル選択と基本指示の付与を実施した上で、システムが候補となるプロンプト指示（Candidates）を複数生成し、品質スコアを比較評価します。

候補モデル比較と本番トレース（Production Traces）を活用した評価データ生成

最適化設定画面では、既存モデルと他モデルの横断比較（Compare across models）を有効化できます。デモでは、ベースラインモデル「gpt-6-luna」に対して、候補モデルとして「gpt-5.4」や「gpt-5.4-mini」を適用し、評価用（Evaluator）モデルに「gpt-6.1-sol」を指定する設定手順が示されました。

評価データの収集においては、新規にデータセットを作成するだけでなく、「Use production traces」オプションを利用できます。実運用で蓄積された会話トレース（デモでは121件検出）から、上限数（15件〜25件など）をインテリジェントにサンプリングし、現実の利用パターンに沿った評価用データセットを自動構築します。

事前費用見積もりと段階的なコスト管理

最適化ジョブを送信する前には、推定コスト（Estimated cost）の内訳が表示されます。デモ画面では、最小$0.00、推定$0.14、最大$0.45という金額が明確に提示されました。

内訳には「エージェントの実行（Running your agent：47回）」「応答のスコアリング（Scoring responses：47回）」「改善案の生成（Generating improvements：3回／$0.14）」の項目が含まれます。膨大なAPI費用を消費する前に実行コストの全体像を把握できるため、開発予算に応じた運用が可能です。

ベンチマーク結果の比較分析と遅延・品質のトレードオフ評価

最適化ジョブ完了後、画面にはベースラインと各候補（Candidate 1〜3）のスコア、トークン使用量、レイテンシ（応答遅延）が一覧表示されます。デモ結果では、ベースラインの最高スコアが「0.396」であり、プロンプト変更のみでは精度向上に至らなかった事実（No improvement）が可視化されました。

一方で、レイテンシの観点では大きな差異が確認されました。ベースラインの平均遅延が2.5秒であったのに対し、軽量モデル「gpt-5.4-mini」を採用したCandidate 3は、スコア「0.348」を維持しつつ、平均1.6秒で応答を返しました。Candidate 1は平均99.2秒と著しく遅延したため、用途に応じた不採用の判断を迅速に下せます。

評価ルーブリック（Rubric）とシステムプロンプト漏洩の検知

「Evaluations」タブでは、個別の評価実行結果（全体合格率33%など）の詳細ログを照会できます。評価は「スコープ権限とプライバシー順守（authorized_scope_and_privacy_compliance）」や「機密情報の非開示（sensitive_information_non_disclosure）」といったルーブリック（評価基準）に基づいて点数化されます。

不合格（Fail：スコア0.23）となった事例を検査したところ、「回答内に非公開とすべき内部指示セット全体をそのまま出力した（The response reproduces the full internal instruction set instead of keeping it private）」ことが判明しました。最適化レポートを通じて致命的なセキュリティリスクを特定し、次回更新でガードレール（Guardrails）の設定やプロンプト修正を講じるための確証が得られます。