ひとことで言うと
AIエージェントが会話のたびに同じ説明書や過去のやり取りをゼロから読み直すムダをなくし、APIの利用料金を賢く抑えるための仕組みのことです。毎回の処理コストに悩んでいた開発者にとって、地味に効いてくる嬉しいアップデートなんです。
何が発表されたのか
AWS Machine Learning Blogの公式発表によると、Amazon Bedrock上でOpenAIモデルを利用する際の「プロンプトキャッシュ(Prompt caching)」の実装パターンが公開されました。映画の『恋はデジャ・ブ』のように、エージェントがステップを進めるたびに過去の記憶を失ってゼロから物語を読み直してしまう「グラウンドホッグ・デイ状態」を打破するための技術です。
今回の発表は、新モデルの発表というよりは、既存のAmazon Bedrock環境においてプロンプトキャッシュをどのようにコードに組み込み、コストを最適化するかを示す実践的なガイドとなっています。
これまでの流れとして、サイソクでも以前にHugging Faceが解説するプロンプトキャッシュの極意、AIエージェントのAPIコストを最大9割削減する設計手法(2026年8月10日報)でキャッシュの重要性をお伝えしていましたが、今回はそれがBedrock上のOpenAIモデルでどのように動くのかに焦点が当てられています。
発表された機能・アップデートの全容
エージェントが抱えるコストの構造
通常のエージェントは、ツールの定義や開発者の指示、これまでのセッション履歴、そして最新の入力やツールの実行結果を毎ターンすべてモデルに送信しています。モデルにはリクエスト間の内部メモリがないため、20回目のターンでは1回目から19回目までの内容を毎回読み直すことになり、その分のトークン代が毎回発生していました。プロンプトキャッシュはこの繰り返しを防ぎ、保存した状態を再利用します。
プレフェイルとキャッシュの仕組み
モデルがプロンプトを読む際、最初に「プレフィル(prefill)」と呼ばれる書き込みが行われ、入力トークンからキー・バリュー(KV)ベクトルが構築されます。プロンプトキャッシュはこのワークステートを保存し、次のリクエストで同じ入力が始まったときに再利用します。これにはBedrockが自動で判断する「暗黙的(implicit)」な方法と、コード内で明示的にマーカーを指定する「明示的(explicit)」な方法があります。
静的コンテンツの明示的キャッシュ
キャッシュを最初に効かせるのは、リクエスト間で変わらないツール定義や指示などの静的な部分です。明示的モードを使うことで、保存するプレフィックスの終わりをコード内で指定できます。 reusableなプレフィックスは1,024トークンに達する必要があり、日付やユーザー名など変動する要素はキャッシュの境界よりも後ろに配置する必要があります。
会話履歴とツール結果のキャッシュ
エージェントがツールを呼び出してその結果を処理していくループの中では、暗黙的モードを活用してBedrockにキャッシュを任せるか、明示的なローリングブレークポイントを設定します。これにより、増えていく会話の履歴やツール出力を効率よくキャッシュに乗せることが可能になります。
GPT-6 Astraにおけるベンチマーク結果
公式ブログで紹介されているGPT-6 Astraを使った6ターンのワークロードテストでは、暗黙的なキャッシュを利用した場合に入力コストが約62パーセント削減されました。また、明示的なローリングブレークポイントを用いた場合でも約61パーセントのコスト削減が確認されています。
性能・ベンチマーク
| 評価指標・セットアップ |
比較対象・条件 |
スコア・削減率 |
出典(元記事 or 編集部注) |
| 暗黙的キャッシュ(GPT-6 Astra) |
キャッシュなしのワークロード |
入力コスト約62%削減 |
公式ブログ |
| 明示的ローリングブレークポイント |
キャッシュなしのワークロード |
入力コスト約61%削減 |
公式ブログ |
競合サービスとの比較
(編集部注:AnthropicのClaudeや他の主要LLM基盤でもプロンプトキャッシュ機能の提供が進んでいますが、今回の発表はAmazon Bedrock上でOpenAIモデルを運用する際に特化した実装パターンを示すものであり、マルチモデル環境におけるコスト最適化の選択肢を広げる意味で実用性が高いアプローチとなっています。)
料金・提供プラン
Amazon BedrockにおけるOpenAIモデルの標準的なAPI従量課金に準拠し、プロンプトキャッシュが適用された部分は通常の入力価格よりも安価に処理されます。
(元記事では具体的な単価や無料枠の言及なし)
日本から使う方法
- Amazon Bedrockのサポートされているリージョンにて、OpenAIモデルを利用可能なAWSアカウントを用意します。
- 既存のBedrockクライアントコードに
prompt_cache_options や prompt_cache_breakpoint を組み込みます。
- 日本語対応の有無やリージョン制限については、Bedrockの公式ドキュメントおよび提供状況に準じます。
- 注意点として、指示やツール定義などのテキストが毎回完全に一致するようにシリアライズの順序を固定する必要があります。
誰にどう効くのか
エンジニアにとっては、エージェントの実装時にトークンコストを自動または明示的に削減できるため、長時間のやり取りが発生するシステムでの費用対効果を大きく高められます。
企画・マーケティング担当者目線では、AIを活用した社内ツールや顧客向けサポートエージェントの運用費が下がることで、より高度な機能を採算ベースに載せやすくなります。
経営層にとっては、AIエージェントの本格導入における最大の壁の一つである「会話が長引くほど膨らむAPI費用」を直接スリム化できる点が大きなメリットです。
まとめ
Amazon Bedrock上のOpenAIモデルにおけるプロンプトキャッシュの活用法は、エージェント開発のコスト課題を解決する実践的なアプローチです。まずは自身のワークロードにおける削減効果を計測し、コードへの組み込みを検討してみてください。