Google DeepMindとSierraが明かすネイティブ音声AIの進化と評価基盤

何が発表されたのか

Google DeepMindの研究プロダクトマネージャーであるValeria Wu氏と、Sierra AIの研究エンジニアであるSoham Ray氏による技術対談が公開されました。Google DeepMindは、音声入力から音声出力を直接生成するネイティブ音声モデルとして、応答の速さを優先した軽量モデルと、複数ステップの機能呼び出し（Function Calling）を実行できるエンタープライズ向け高精度モデルの2系統を開発していることを明らかにしました。本発表は基礎研究から実用段階への移行を示すものであり、既存のテキスト変換（STT/TTS）を挟むパイプライン構造からの脱却を提示しています。

発表された機能・アップデートの全容

2つの専用モデルによる用途別最適化

Google DeepMindは、ネイティブ音声AI領域において性質の異なる2つのモデルを提供します。1つ目は、迅速な応答が求められる日常会話や問い合わせ初期対応に特化した軽量・高速モデルです。ツール呼び出しの負荷が少ない会話で威力を発揮します。2つ目は、複雑なマルチステップ処理や高い精度が求められる環境向けのエンタープライズモデルです。正確な意思決定と正確な外部API連携が必要な業務エージェントへの組み込みを想定しています。

カスケード構成を排したネイティブ音声処理

従来の音声AIは、音声認識（STT）、言語モデル（LLM）、音声合成（TTS）を順次実行するカスケード構造を採用していました。この構造は各工程で情報が欠落する伝言ゲーム状態を引き起こしていました。ネイティブ音声モデルは、音声信号を直接処理することで、抑揚やトーン、話者の微妙なニュアンスを維持したまま応答を生成します。言語間のコードスワイチング（一会話内での言語切り替え）も自然に行えます。

レイテンシの2段階評価（TTFAとTTFUR）

動画内では、音声応答におけるレイテンシを2つの指標で計測する概念が示されました。1つ目は発話開始までの時間を指すTTFA（Time to First Audio）です。2つ目は「確認します」といった繋ぎの言葉を除き、実際に意味のある情報がユーザーに届くまでの時間を指すTTFUR（Time to First Useful Response）です。思考プロセス（Thinking）を挟むモデルではTTFAが延びる傾向があるため、対話のスムーズさを保つ技術調整が施されています。

音声品質の階層構造（マズローの欲求段階説の応用）

Sierra AIのSoham Ray氏は、音声AIの品質をピラミッド構造で説明しました。最下層はタスクを完遂できるかという「正確性（Accuracy）」です。中間層はストレスなく会話を継続できるかという「品質（Quality）」です。最上層は適切な発音やトーン、心地よい聴感を提供する「体験（Experience）」です。モデルの進化に伴い、評価基準が単なるタスク成功率から人間の聴感品質へとシフトしていることが強調されました。

動的会話評価ベンチマーク「tau-Voice」

画面上には「tau-Banking Leaderboard」や「tau-Voice Leaderboard」のUIが示されました。従来の静的なテキスト対話評価（正解ラベルとの比較）とは異なり、tau-Voiceではノイズやペルソナを設定した「ユーザーシミュレータ」を用いてリアルタイムな音声対話を動的に評価します。途中の割り込みや応答タイミングを含めた実践的な評価基準が構築されています。