ホーム / AI・テクノロジー / Google for Developers Google for Developers 2026/08/06
GoogleのGemini Live 」を Googleが提供するネイティブ音声モデル「Gemini Live」と、LLM開発プラットフォーム「LangSmith」の統合手法が公開されました。音声認識や音声合成を介さず、音声を直接処理する「Speech-to-Speech」の特性を活かしつつ、開発時の最大の難所である「ユーザーによる発話の割り込み」や「音声トークンコスト」を完全に可視化する技術の全容を、実演デモを交えて解説します。
AI解析: gemini-3.5-flash 本ページはプロモーションを含みます
元動画: Voice Agent observability with LangSmith 🌟
3秒でわかる要点 1 Gemini Liveは音声をテキストに変換せず直接処理するSpeech-to-Speechモデルで超低遅延を実現します2 LangSmithとGoogle ADKの統合によりユーザーによる音声の「割り込み」イベントを正確に検知・記録できます3 音声トークンとテキストトークンの消費量を分離して可視化し本番運用のコストを詳細に分析可能ですこの記事の章立て 何が発表されたのか 発表された機能・アップデートの全容 性能・ベンチマーク 競合サービスとの比較 料金・提供プラン 日本から使う方法 誰にどう効くのか まとめ 何が発表されたのか
LangChainのエンジニアであるCaroline di Vittorio氏が、Google for Developersの公式チャンネルにおいて、Googleのネイティブ音声モデル「Gemini Live（Gemini 3.1 Flash Live）」と「Google ADK（Agent Development Kit）」を用いた音声AIエージェントの開発において、開発プラットフォーム「LangSmith」を統合した可視化（Observability）およびトレーシングの手法を実演・解説しました。
音声対話型AIの開発では、従来のテキストベースのLLMとは異なり、遅延の発生箇所やユーザーによる発話の割り込み（Interruption）、音声トークン消費に伴うコスト管理などが極めて不透明になりがちです。本発表は、これらの課題を解決するために、LangSmithがGoogle ADK向けの専用プラグインを提供し、音声エージェントの挙動を完全にトレース可能にしたことを示すものです。提供フェーズとしては、Gemini 3.1 Flash Liveモデルがプレビュー段階（gemini-3.1-flash-live-preview）にあり、開発者はGoogle AI StudioのAPIキーを取得することで、即座にこの可視化環境を構築できます。
発表された機能・アップデートの全容
1. Gemini Liveのネイティブ音声処理（Speech-to-Speech）
Gemini Liveは、Googleが提供するネイティブな音声処理モデルです。従来の音声アシスタントは、ユーザーの音声入力を一度「音声認識（ASR）」によってテキストに変換し、それをLLMに入力してテキストの回答を生成し、最後に「音声合成（TTS）」で音声に変換して出力するという、3つの独立したステップを踏んでいました。このパイプライン方式は、各ステップでの処理遅延が累積し、会話のテンポが損なわれる原因となっていました。
これに対してGemini Liveは、音声をテキストに変換することなく、音声データを直接入力（Input）として受け取り、音声データを直接出力（Output）する「Speech-to-Speech」のアーキテクチャを採用しています。このアプローチにより、テキスト変換に伴う処理オーバーヘッドが完全に排除され、極めて低いレイテンシ（遅延）が実現します。また、声のトーン、感情、イントネーションといった非言語的な情報が失われないため、より自然で人間らしい対話が可能になります。
2. Google ADKとLangSmithのインテグレーション
開発者が音声エージェントを安全に本番環境へデプロイするためには、エージェントが内部でどのような処理を行っているかを可視化（Observability）する必要があります。そこで導入されたのが、LangSmithとGoogle ADK（Agent Development Kit）の統合です。
動画内では、LangSmithのGoogle ADKプラグイン（LangSmithGoogleADKPlugin）をコード上で定義し、それをエージェントのランナー（Runner）に登録する実装方法が紹介されています。これにより、エージェントが実行したすべてのツール呼び出し、APIリクエスト、そしてユーザーとの音声対話のデータが自動的にLangSmithへと送信され、グラフィカルなトレース（実行履歴）として記録されます。開発者はブラックボックスになりがちな音声エージェントの内部挙動を、テキスト開発時と同様に完全に掌握できるようになります。
3. 音声対話における「割り込み（Interruption）」イベントの検知と記録
音声エージェントの開発において最も困難な課題の一つが、ユーザーによる「発話の割り込み」への対応です。人間同士の会話では、相手が話している途中で別の質問を挟むことが日常的に行われます。音声エージェントも同様の挙動に対応する必要がありますが、従来のシステムでは、エージェントがどこまで話し、どの時点で遮られたのかを正確に把握することが困難でした。
デモでは、エージェントがロサンゼルスの天気を「It's about 86...（約86度で...）」と説明している途中で、ユーザーが「Actually, I meant Tokyo.（実は、東京のことです）」と割り込む様子が実演されました。LangSmithのトレース画面では、この割り込みが発生した瞬間に「interrupted」というイベントが0.00秒の処理時間として明確に記録されます。これにより、エージェントの応答がどのタイミングで中断され、次のユーザー発話へどのように遷移したかを詳細にデバッグできます。
4. ツール呼び出し（Tool Call）の可視化と待機時間の測定
デモエージェントは、外部APIから天気を取得するツール（get_weather）を実装しています。ユーザーが「サンフランシスコの天気は？」と尋ねると、エージェントは自動的に get_weather ツールを呼び出します。LangSmithのトレース画面では、このツールの呼び出しがツリー構造のノードとしてビジュアル表示されます。
具体的には、get_weather ツールの実行に「1.29s」または「1.26s」といった詳細な処理時間がミリ秒単位で表示されます。これにより、エージェントの応答遅延がLLMの推論によるものなのか、それとも外部API（ツール）のレスポンス遅延によるものなのかを即座に切り分けることができます。音声UIにおいて1秒以上の遅延はユーザー体験を著しく損ねるため、このボトルネック特定機能は極めて重要です。
5. 音声トークンおよびコストの詳細な内訳表示
音声モデルの運用コストは、テキストモデルに比べて複雑です。音声データは内部的に「音声トークン」として消費されるため、テキストよりも消費量が大きくなる傾向があります。LangSmithの「Attributes」タブの「Metadata」セクションでは、実行ごとのトークン消費量とコストのブレイクダウン（内訳）がリアルタイムに表示されます。
デモ画面に示された具体的な数値としては、入力トークンの詳細（input_token_details）において、音声トークン（audio）が「302」、テキストなどのその他のトークンを含む総入力トークン（total_tokens）が「1293」と記録されています。また、出力トークンの詳細（output_token_details）では、音声トークン（audio）が「110」、その他の出力トークンが「132」であり、1回の対話ターン全体での総トークン数（total_tokens）は「1425」に達していることが確認できます。このように、テキストと音声のそれぞれの消費トークン数を明確に分離して可視化できるため、本番運用におけるコスト予測や最適化が容易になります。
6. 開発ライフサイクルを支えるLangSmithの諸機能
LangSmithに集約された音声対話のトレースデータは、単にログを閲覧するだけでなく、開発ライフサイクル全体で活用できます。具体的には、収集したトレースを評価（Evals）の実行に回したり、特定の会話パターンを抽出してデータセット（Data sets）に追加したりすることが可能です。
さらに、人間の評価者がデータを確認するためのアノテーションキュー（Annotation queues）への登録、ダッシュボード（Dashboards）による利用統計の可視化、チーム内でのトレースの共有（Share traces）、そしてバグの原因究明を行うデバッグ（Debug）機能など、従来のテキストベースLLMで培われたLangSmithの強力なエコシステムを、音声エージェントに対してもそのまま適用できます。これにより、音声AIプロダクトの品質向上サイクルを高速に回すことが可能になります。
性能・ベンチマーク
動画内では、他社モデルとの直接的なスコア比較やベンチマーク数値（MMLUなど）の提示はありませんでした。しかし、デモ実行時における音声処理の「実効速度」および「トークン消費量」の計測値が、LangSmithのトレース画面を通じてリアルタイムに示されています。これらは、実際の音声エージェント開発における実用的な性能指標となります。測定された数値を以下の表に整理します。
評価項目
測定値 / 記録された数値
出典（動画内）
使用モデル
gemini-3.1-flash-live-preview
動画内デモ画面（0:36）
外部APIツール（get_weather）の実行時間
1.26秒 〜 1.29秒
動画内デモ画面（0:30）
割り込み（interrupted）イベントの処理時間
0.00秒
動画内デモ画面（0:31）
1セッションあたりの入力音声トークン数
302 トークン
動画内デモ画面（0:37）
1セッションあたりの出力音声トークン数
110 トークン
動画内デモ画面（0:37）
1セッションあたりの総消費トークン数
1,425 トークン
動画内デモ画面（0:37）
（編集部注：外部APIの実行時間に約1.2秒強を要しているものの、音声の処理自体はミリ秒単位で極めて低遅延で行われていることが、デモの滑らかな応答から見て取れます。）
競合サービスとの比較
ネイティブ音声モデルおよびその開発エコシステムにおいて、最大の競合となるのはOpenAIが提供する「GPT-4o Realtime API」およびその周辺ツール群です。GoogleのGemini LiveとGoogle ADK、そしてLangSmithの組み合わせが、競合に対してどのような優位性と課題を持っているかを比較分析します。
比較項目
Google（Gemini Live + Google ADK + LangSmith）
OpenAI（GPT-4o Realtime API + 独自/サードパーティツール）
編集部による分析
音声処理方式
完全なSpeech-to-Speech（ネイティブ音声処理）
完全なSpeech-to-Speech（ネイティブ音声処理）
両者ともにテキスト変換を挟まないため、感情表現や低遅延性において業界最高水準にあります。
開発フレームワーク
Google ADK（Agent Development Kit）による標準化
公式SDK、またはLangChainなどのサードパーティ製
Google ADKはGoogle公式の音声に特化した開発キットであり、Gemini Liveとの親和性が極めて高いのが特徴です。
可視化・デバッグ環境
LangSmithによる標準プラグイン対応（ツリー構造、割り込み、音声トークン分解）
LangSmithや各種APMツールでの個別実装が必要
LangSmithが公式にGoogle ADKプラグインを提供したことで、Google環境でのデバッグの容易性が一歩リードしています。
コストの透明性
テキスト/音声トークンの詳細な内訳をMetadataで即座に確認可能
各種プロバイダ経由でのログ確認、または自前での集計が必要
LangSmithの画面上で、入力/出力それぞれの「audio」トークン数が明示されるため、コスト管理のしやすさはGoogle環境が優位です。
取材班の見立てでは、OpenAIのRealtime APIは先行して市場に投入され、多くの開発者に支持されています。しかし、GoogleがADKという専用の音声エージェント開発キットを整備し、さらに業界標準のデバッグツールであるLangSmithと深く統合したことは、エンタープライズ開発における信頼性を大きく引き上げる要因になります。特に、会話の「割り込み」や「音声トークン消費」といった音声特有の挙動を、追加のコードなしでここまで詳細にトラッキングできる点は、開発効率の面で強力なアドバンテージです。
料金・提供プラン
動画内では、Gemini Live APIおよびLangSmithの具体的な利用料金（1,000トークンあたりのドル単価など）についての直接的な言及はありませんでした。しかし、以下の提供ステータスと開始方法が示されています。
Gemini Live APIの提供段階 ：動画内では「Gemini 3.1 Flash Live」のプレビュー版（gemini-3.1-flash-live-preview）が使用されています。開発者はGoogle AI Studioを通じて、プレビュー版のAPIキーを即座に取得できます。LangSmithの提供段階 ：LangSmithはすでに一般提供（GA）されているサービスであり、Google ADK向けのプラグインを導入することで、既存のアカウントですぐに音声トレース機能を利用できます。
（編集部注：Google AI Studioでは、プレビュー版のモデルに対して一定の無料クォータが提供されているケースが多く、開発者は初期費用を抑えてプロトタイピングを開始することが可能です。本番運用に移行する際は、従量課金制のGoogle Cloud Vertex AI等への移行が推奨されます。）
日本から使う方法
日本の開発者が、本日よりGemini LiveとLangSmithを組み合わせた音声エージェント開発を試すための具体的な手順は以下の通りです。
Google AI StudioでAPIキーを取得する
Google AI Studio（ai.google.dev）にアクセスし、自身のアカウントでログインします。
「Get API key」をクリックし、Gemini Live（Gemini 3.1 Flash Live）が利用可能なAPIキーを発行します。
LangSmithのアカウント作成とAPIキーの設定
LangSmith（smith.langchain.com）にアクセスし、アカウントを作成します。
設定画面からLangSmith用のAPIキーを発行し、開発環境の環境変数（LANGCHAIN_API_KEY）に設定します。また、LANGCHAIN_TRACING_V2=true を設定してトレーシングを有効にします。
開発環境の構築とライブラリのインストール
PythonまたはNode.jsの開発環境を用意します。動画内ではPython環境（voice-demo プロジェクト）が使用されています。
Google ADK（Agent Development Kit）およびLangChain/LangSmithの関連ライブラリをインストールします。
LangSmith Google ADKプラグインの実装
コード内で LangSmithGoogleADKPlugin をインポートし、LangSmithのプロジェクト名を指定してインスタンス化します。
作成したプラグインを、Google ADKのエージェントランナーに登録します。
エージェントの起動と対話の開始
ターミナルからエージェントを起動します。マイクへのアクセス許可を求められるため、許可します。
音声で話しかけ、応答を確認します。途中でわざと「割り込み」を入れて話し、エージェントの挙動をテストします。
LangSmithコンソールでの確認
LangSmithのダッシュボードにアクセスし、指定したプロジェクトを開きます。
実行されたトレースを選択し、会話のトランスクリプト、get_weather などのツール呼び出し時間、interrupted イベント、そして usage_metadata に記録された音声トークン数を確認します。
（編集部注：Gemini Live APIは、利用するリージョンによって制限が適用される場合があります。日本国内からのアクセスにおいて制限が発生する場合は、VPNの利用や、サポートされているリージョンのGoogle Cloudプロジェクトに紐付けるなどの対応が必要になる場合があります。）
誰にどう効くのか
1. アプリケーション開発者・AIエンジニア
音声エージェントの開発における「最大のブラックボックス」が解消されます。これまでは、音声対話が途切れたり、応答が遅かったりした際に、マイク入力の問題なのか、LLMの推論遅延なのか、あるいは外部ツールのAPI遅延なのかを特定するのが極めて困難でした。LangSmithのタイムライン表示とミリ秒単位のトレースにより、ボトルネックを即座に特定し、コードの修正やプロンプトの改善を迅速に行うことができます。
2. プロダクトマネージャー・企画担当者
ユーザー体験（UX）の定量的な評価が可能になります。特に「ユーザーがどの程度エージェントの回答を遮って（割り込んで）話し直したか」というデータは、エージェントの回答が冗長であるか、あるいはユーザーの意図を正しく汲み取れていないかを示す重要なUX指標になります。LangSmithに蓄積された割り込みイベントの発生率を分析することで、音声UIの設計をデータに基づいて最適化できます。
3. 経営層・プロダクト責任者
音声AIプロダクトの商業化における最大の障壁である「APIコスト」を正確に予測・管理できるようになります。音声トークンはテキストに比べて消費効率が異なるため、予期せぬ高額請求が発生するリスクがあります。LangSmithが提供する詳細なトークンブレイクダウン機能により、プロトタイプ段階から正確なユニットエコノミクス（顧客あたりの採算性）を算出でき、事業計画の精度を大幅に向上させることができます。
まとめ
今回の発表は、Googleの強力なネイティブ音声モデル「Gemini Live」と、デバッグのデファクトスタンダードである「LangSmith」が強固に結びついたことを意味します。これにより、ボイスエージェントは「実験室のおもちゃ」から「本番環境で運用可能な実用システム」へと進化を遂げました。
音声UIの開発を検討しているエンジニアやプロダクト責任者は、まずGoogle AI StudioでAPIキーを取得し、LangSmithを有効にした状態でADKを用いたプロトタイピングを開始することをお勧めします。対話の「割り込み」や「音声トークンコスト」がビジュアル化される開発体験は、音声AI開発の難易度を劇的に下げてくれるはずです。
動画のタイムテーブル 0:00 Gemini Liveの基本概念とSpeech-to-Speechの仕組みの解説 0:10 ボイスエージェントの本番運用における可視化の重要性とLangSmithの導入 0:18 端末ベースの天気予報ボイスエージェントによるデモンストレーションの開始 0:20 ユーザーによる発話の「割り込み（Interruption）」の実演 0:27 LangSmithのコンソール画面におけるトレースデータの詳細解説 0:30 ツール呼び出し（get_weather）の処理時間と割り込みイベントの確認 0:36 音声トークンおよびテキストトークンのコスト内訳（Metadata）の分析 0:39 収集したトレースデータを活用した評価、データセット作成、デバッグ手法の紹介 記事で紹介したツール
この機能を、いま自分の環境で試す 記事の内容は公式発表の要約です。実際の使い勝手は触ってみないと分かりません。多くは無料枠から始められます。
公式サイトで試す→ 提供: OpenAI
本記事は元動画の映像・音声をAIが解析して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元動画を見る （解析モデル: gemini-3.5-flash）
