本ページはプロモーションを含みます
KDDIのAIアプリ「Buffmee」は、合計の応答時間を38%減らし、目標の性能を達成
応答時間
要約版：専門用語を控えて説明しています
Buffmeeは、本やウェブ記事など100以上の情報源をもとに答えるアプリです。AIが先に資料を探してから答える仕組みを、RAG（検索拡張生成）と呼びます。
回答の質を機械で採点する仕組みも作りました。根拠性スコア（回答が資料に沿っているかを示す点数）は25%上がりました。
もう1つは、AIへの指示文（プロンプト）が長くなりすぎて、返事が遅れていた問題です。指示文を機能ごとに分けて、必要な部分だけを読み込むようにしました。その結果、最初の文字が返るまでの時間は18%近く短くなりました。
ADKはオープンソースで、Python、TypeScript、Go、Javaで使えます。Gemini Enterprise Agent Platform Evaluation Serviceで、回答の品質を測ることもできます。
AIアプリを使うだけの人は、今回の発表で操作や料金が変わることはありません。一方、自社の資料をもとに答えるAIを作る開発者には、応答を速くしながら答えの正確さを保つ手法が具体的に示されています。
KDDIの「Buffmee」は、書籍・雑誌・ウェブメディアなど100以上のソースをもとに答える消費者向けのアプリです。AIが資料を探してから答える仕組みを、RAG（検索拡張生成）と呼びます。「成長をサポートするAI」という考え方で作られ、回答には情報源を引用します。
開発はKDDIアイレット、Google Cloud Consulting、KDDIの専門AIチームが組んで進めました。Google Cloud公式ブログの発表によると、最初の課題は、書籍や雑誌など形式の違うコンテンツを、AIの根拠（グラウンディング）として使える状態にすることでした。
もう1つの課題は、応答の遅さ（レイテンシ）でした。目標の応答時間に届かず、ハルシネーション（AIがもっともらしい誤りを答えること）を減らす確かな方法も必要でした。
その後、アプリ全体の合計応答時間は38%減り、目標の応答性能を達成しました。最初のトークン（AIが文字を数える単位）が返るまでの時間（TTFT）も、18%近く改善しています。
回答が資料の根拠にどれだけ沿っているかを示す「根拠性スコア」は25%高まりました。（編集部注：根拠性スコアは、回答が資料に基づいているかを測る指標です。）
KDDIの小野田隼也氏は、目指したのは「すぐに RAG システムとして機能するプラットフォーム」だったと話しています。
手動テストは手間がかかり、大量の資料に広げられませんでした。そこでチームは、評価の仕組みを組み直しました。使ったのは、Gemini Enterprise Agent Platform Evaluation Service（生成AIの出力を客観的に測るGoogleのツール）です。
このツールは、モデルの移行やプロンプトの編集、ファインチューニング（追加学習）の評価にも使えます（Google Cloudの公式ドキュメント、11/7確認）。
LLM-as-a-Judge（別のAIに回答を採点させる方法）などを取り入れました。数百の自動テストと、比べる基準になるベンチマーク用のデータセットも作りました。評価用のAIが回答を採点し、人が実際の回答を見て合格ラインを決めています。
信頼性を保つため、チームは4つの方法を使いました。
応答の出だしが遅くなる原因を、運用ログから探した
応答を速くするため、チームは実際の運用ログを調べました。使ったのは、BigQuery Agent Analytics（分析ツール）とADKのログ分析エージェントです。スキルの分割やプロンプトの肥大化が、TTFTにどう影響するかを可視化したのです。特に、複数ページにわたる複雑なシステムプロンプトで影響が大きかったといいます。
そこで、スキルをインラインで統合したシステムプロンプトに直しました。サブエージェントの振り分け（ルーティング）も見直しました。回答の精度を保ったまま、処理の詰まり（ボトルネック）を解消できたと発表されています。
自社で同じ手法を試すなら、発表では次の3つが挙げられています。
ADKはオープンソースで、Python、TypeScript、Go、Javaで使えます（Google Cloudの公式ドキュメント、11/7確認）。
サイソクは11月2日、Google Cloudがエージェント開発の評価で得た4つの教訓を報じていました。（Google Cloud、AIエージェント開発の評価で得た4つの教訓を公開）
編集部の見方では、人の目による確認を減らし、評価を自動の仕組みに移したことが今回の改善の土台です。ただし、合格ラインを決める段階では人が確かめています。
発表内容をもとにした一般的な情報です。導入や契約の判断は、公式情報を確かめたうえでご自身で行ってください。
Buffmeeの料金は発表に含まれていないため、KDDIの公式案内で確認するとよいでしょう。
11/7時点の判定。発表内容をもとにAIで判定しています。最新の提供状況は公式情報をご確認ください。
同じ話題の記事提供中Google Cloud、前日に出た記事から大きな発表を選び、1本2行でまとめてメールで届けます。無料・いつでも解除できます。
主要企業の大きな発表だけ、1日4回まで。夜22時〜朝7時は鳴らしません。いつでも解除できます。
本記事は公式発表の文章をもとにAIが要約・解説して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元記事を読む制作方法と事実確認の手順は編集方針をご覧ください。誤りのご指摘はお問い合わせから受け付けています。
