何が発表されたのか
米OpenAIは、開発者向けイベント「DevDay 2026」の屋外ステージセッションにおいて、AIアプリケーションの運用コストを劇的に削減しながら品質を維持・向上させるための実践的な設計手法を公開しました。本セッションには、同社でデベロッパーエクスペリエンスを担当するアールティ・バグル（Aarti Bagul）氏、アプライドAIエンジニアリングリードのマンディープ・シン（Mandeep Singh）氏、アプライドAIエンジニアのサブタルシ・バナジー（Saptarshi Banerjee）氏が登壇しました。
本発表は、単一のAPIや新モデルの単独リリースにとどまらず、開発者が直面している「AIコストの爆発」という現実的な課題に対し、同社の最新モデル群（GPT-6 Astra、GPT-6.1 Soul、GPT-Lunaなど）やAPIの構造的機能を組み合わせて解決するためのシステム設計論です。発表された手法や機能は、すでに一部が一般提供（GA）されており、開発者はすぐに実務に適用可能です。
発表された機能・アップデートの全容
1. 開発の基本思想：トークン単価から「タスク単価」への転換
セッションの冒頭でマンディープ・シン氏は、多くの開発者が陥る最大の過ちとして「トークン単価（Cost per Token）だけでコストを評価すること」を挙げました。ウェブサイトに掲載されている「100万トークンあたり数ドル」というリストプライスは、実際の運用コストを正確に反映していません。
シン氏は、真に注目すべき指標は「完了したタスクあたりのコスト（Cost per Completed Task）」であると強調しました。なぜなら、トークン単価が極めて安い下位モデルを採用しても、タスクを完了させるために何度もプロンプトを往復させてトークンを余計に消費したり、最終的にモデルがタスクを完遂できずに人間の介入（Human Intervention）が必要になったりすれば、トータルの運用コストはかえって跳ね上がるためです。
この主張を裏付ける実例として、以下の2社の事例が紹介されました。
- Perplexity（パープレキシティ）：同社のリサーチベンチマークにおいて、最新の「6 Astra」モデルを導入した結果、前世代モデルと比較して精度が9%向上し、タスク完了あたりのコストは半分に削減されました。トークン単価自体は高くても、より少ないステップで正確な回答に到達するため、タスク単価が下がった好例です。
- Notion（ノーション）：同社はGPT-5.5から最新の「5.6 Soul」モデルへ移行しました。これにより、タスク完了あたりの精度が向上しただけでなく、タスク単価を半分に抑えることに成功しています。
2. パレート曲線を用いた「モデルの適正サイズ化（Right-sizing）」
開発者が直面する「どのモデルを選ぶべきか」という問いに対し、OpenAIは「パレート曲線（Pareto Curve）」を用いた科学的なアプローチを推奨しています。これは、縦軸に「タスクの精度（Accuracy）」、横軸に「タスク単価（Cost）」をプロットし、トレードオフの関係を可視化する手法です。
開発者はまず、解決したいタスクと、ビジネス要件として許容できる最低限の精度しきい値（例：顧客対応の80%を自動解決するなど）を明確に定義する必要があります。その上で、異なるモデルや設定（プロンプト、Reasoning Effort、ツール呼び出し手法など）をテストし、パレートフロント（最適解の境界線）をプロットします。これにより、目標精度を満たしつつ、最もコストが低くなるモデルと設定の組み合わせを客観的に特定できます。
OpenAIは現在、このパレートフロント上に位置する3つの主要なモデルファミリーを提供しています。
- 6 Astra：最高峰の知性を備えたフロンティアモデルであり、高度な計画や複雑な推論を必要とするタスクに適しています。
- 6.1 Soul：高い知性を維持しながら、タスク単価を極めて低く抑えたコスト効率の高いモデルです。
- Luna：軽量かつ高速で、ルーティングや単純な分類タスクに最適な高効率モデルです。
さらにセッション内では、極めて単純なタスク向けに、より軽量で低コストな「Decisions API」が本日新たに発表されました。
3. Prompt Cachingの進化：明示的ブレークポイントと診断ツールの拡充
コスト削減のための最も強力なレバーの1つが「Prompt Caching（プロンプトキャッシュ）」です。これは、入力プロンプト内の重複するテキスト部分の解析結果を再利用する技術で、OpenAIのAPIではデフォルトで有効化されています。キャッシュが適用された入力トークンは、通常料金から最大90%割引されます。
サブタルシ・バナジー氏は、キャッシュヒット率を最大化するためのベストプラクティスとして「プロンプトの構成を工夫し、システム指示や共通ドキュメントなどの固定テキストを必ずプロンプトの先頭（Prefix）に配置すること」を挙げました。プロンプトの末尾にユーザーの動的なクエリを配置することで、先頭の共通部分が確実にキャッシュされます。
さらに、GPT-5.6およびGPT-6 Astraファミリーからは、キャッシュの制御性が大幅に向上しました。システムが自動でキャッシュ境界を判断するだけでなく、開発者が「ここまでをキャッシュする」と明示的に指定できる「Explicit Breakpoints（明示的ブレークポイント）」機能が導入されています。さらに厳密な制御を行いたい開発者向けに、「Explicit Only Mode」も提供されます。
また、開発者がキャッシュの効果を定量的に把握・改善できるよう、以下の2つの新しいサポートツールが発表されました。
- プロンプトキャッシュ・ダッシュボード：管理画面（Admin Web Page）上に提供され、アプリケーション全体のキャッシュヒット率をリアルタイムで測定・追跡できます。
- Diagnostics API（診断API）：2つの異なるクエリを比較し、プロンプトのどの部分でキャッシュミス（Cache Miss）が発生しているかを正確に特定できます。
4. トークン消費を劇的に抑える「Programmatic Tool Calling」
AIエージェントの構築において、モデルが外部ツールを呼び出す「Tool Calling」は不可欠な機能ですが、これまではコスト増大の原因となっていました。従来の設計では、ツールが返した大量の中間データや生の結果をすべてモデルにフィードバックしていたため、コンテキストウィンドウが膨張し、プロンプトトークンが爆発的に増加していました。
これに対する解決策として、バナジー氏は「Programmatic Tool Calling（プログラムによるツール呼び出し）」を提示しました。これは、ツール呼び出しの中間処理やデータの比較・フィルタリングをLLMにやらせるのではなく、アプリケーション側のコード（プログラム）で処理する設計パターンです。
例えば、在庫確認システムにおいて、エージェントが複数の倉庫の在庫データを取得する場合、各倉庫からの生のレスポンスをすべてモデルに戻す必要はありません。プログラム側でデータを集計・比較し、最終的に整理された「パッケージレポート」のみをモデルに返して判断を仰ぎます。これにより、中間データがモデルのコンテキストウィンドウを占有することを防ぎ、コストを直接的に削減します。
リーガルAIスタートアップの**Clio（クリオ）**は、マルチステップの文書解析ワークフローにおいてこの手法を導入しました。その結果、タスクの品質や精度を一切落とすことなく、プロンプトトークンを38%削減することに成功しました。
5. 柔軟なコスト制御を可能にする「Reasoning Effort」と「Batch/Flex API」
残る2つのレバーとして、「Reasoning Effort」の調整と「Batch/Flex API」の活用が解説されました。
- Reasoning Effort（推論エフォート）：推論モデルが回答を生成するまでに費やす思考プロセスの量を「Low（低）」「Medium（中）」「High（高）」などの設定で調整できます。バナジー氏は「短い回答であっても、裏側で膨大な推論トークンを消費している場合がある」と指摘し、日常的なルーチンタスクではまず低いエフォート設定から開始し、評価（Evals）を通じて品質が維持できるか確認することを強く推奨しました。
- （編集部注：最新のGPT-6 Astraでは、進行中の会話の文脈において、キャッシュを壊すことなくこのReasoning Effortの設定を動的に変更できるようになりました。これにより、対話の流れに応じて、必要な時だけ推論能力を高める柔軟な設計が可能になります。）
- Batch / Flex API：リアルタイムの即時応答が不要なタスク（数千件のドキュメント一括処理やバッチ分析など）において、24時間以内の処理猶予を許容することで、通常の同期リクエストと比較して50%安価なトークン価格で処理を実行できるAPIです。
