サイソク
公式発表Google for Developers

Google、Gemini 3.5 LiveとLiveKitによるリアルタイム多言語翻訳配信アプリを公開

Google DeepMindは、Gemini APIで利用可能な「Gemini 3.5 Live」翻訳モデルとリアルタイム通信フレームワーク「LiveKit」を組み合わせた、多言語音声翻訳・配信アプリケーションのオープンソースデモを公開しました。配信者の音声をリアルタイムで複数言語に翻訳し、音声と字幕を同時に配信する仕組みを、Google Cloud Run上に構築する実用的な構成案が提示されています。

AI解析: gemini-3.5-flash本ページはプロモーションを含みます

元動画: Build a live translation broadcast app with the Gemini Live API and LiveKit

3秒でわかる要点

  1. 1Gemini 3.5 LiveとLiveKitを統合し、配信者の音声をリアルタイムで多言語に音声翻訳・テキスト化するデモを公開
  2. 2「翻訳ブリッジ」設計により、同じ言語を要求する視聴者が複数いる場合は1つのAPIセッションを共有してコストを削減
  3. 3Google Cloud Runへのデプロイに対応し、大規模配信向けには「3層アーキテクチャ」への拡張パスも提示

何が発表されたのか

Google DeepMindのDeveloper Experience担当であるThor Schaeff氏は、Gemini APIで提供されている最新の「Gemini 3.5 Live」翻訳モデルと、オープンソースのリアルタイム通信フレームワーク「LiveKit」を組み合わせた、多言語音声翻訳・配信アプリケーションの構築手法を公開しました。このシステムは、配信者がマイクに向かって話した音声を、複数の異なる言語へ超低遅延でリアルタイム翻訳し、音声とテキスト字幕の双方で視聴者へ一斉配信するものです。

本発表は、単なる概念実証（PoC）にとどまらず、プロダクション環境へのデプロイを想定したオープンソースリポジトリ（google-gemini/gemini-live-translate-livekit）として提供されています。Google Cloud Runへのデプロイ構成や、開発時に役立つAIエージェントを用いたコード探索手法など、実務に適した開発パイプラインが網羅されている点が特徴です。

発表された機能・アップデートの全容

1. ドイツ語から英語への超低遅延リアルタイム音声翻訳デモ

動画の冒頭では、Thor Schaeff氏がドイツ語で挨拶や解説を行う音声が、ほぼ遅延なく英語の音声およびテキスト字幕に変換されて画面上に出力されるデモが実演されました。配信者が話した音声波形は、LiveKitを介して即座にサーバーへ送信され、Gemini 3.5 Liveモデルがリアルタイムで翻訳処理を行います。生成された英語の音声は、合成音声として視聴者のブラウザから再生され、同時に画面下部には「Transcription（文字起こし）」として正確な英文テキストがタイピングされるように表示されました。既存のバッチ処理型翻訳と比較して、会話の文脈を維持しながら極めて短いレイテンシーで出力される様子が確認できます。

2. リソースを最適化する「翻訳ブリッジ」とセッション管理の仕組み

本アプリケーションの核心となるのが、「Translation Bridge（翻訳ブリッジ）」と呼ばれるセッションオーケストレーション機構です。配信者がマイク入力を有効にすると、まずLiveKitの仮想ルームが作成されます。視聴者が配信ページにアクセスし、ドロップダウンメニューから「中国語（簡体字）」や「フランス語」といった特定の言語を選択すると、バックエンドの「TranslationSessionManager」がそれを検知します。システムは、要求された言語ごとにちょうど1つの「Gemini Live APIセッション」を動的に起動し、配信者のメイン音声をそのセッションにパイプします。これにより、同一の言語を要求する視聴者が複数存在する場合でも、新しくAPIセッションを立ち上げることなく、既存の翻訳ストリームに「相乗り（サブスクライブ）」させることが可能となり、APIの接続数とコストを劇的に抑制する設計となっています。

3. 音声とテキスト字幕を同時に届けるWebRTCデータチャネルの活用

システムは、翻訳された音声トラックを配信するだけでなく、WebRTCのデータチャネルを利用してリアルタイムにテキスト字幕（メタデータ）も配信します。Gemini Live APIから返却されるレスポンスには、翻訳された音声バイナリ（PCMデータ）と、その発話内容を示すテキストデータが含まれています。アプリケーションは、音声データをLiveKitのオーディオトラックとしてパブリッシュし、テキストデータをLiveKitのデータパケットとしてルーム内の全参加者にブロードキャストします。これにより、視聴者はイヤホンで翻訳音声を聞きながら、画面上でズレのない字幕表示を確認できる、極めてアクセシビリティの高い視聴体験を得られます。

4. AIエージェント「Antigravity」によるコードベースの音声探索

開発者の体験を向上させる試みとして、VS Codeの拡張機能であるAIエージェント「Antigravity」（Gemini 3.5 Flash High搭載）を用いたコード探索デモが行われました。Thor Schaeff氏がマイクに向かって「Gemini Liveの翻訳セッションをセットアップし、LiveKitルームにブロードキャストする仕組みをコードから示してほしい」と口頭で指示すると、AIエージェントは即座に関連する複数のソースコード（translation-bridge.tsなど）を解析しました。AIはアーキテクチャの概要を箇条書きで整理し、どの関数がWebSocket接続を確立し、どの処理が音声データのパイプラインを制御しているかを、ソースコードの該当箇所を提示しながら音声とテキストで正確に回答しました。ドキュメントを読み込む時間を大幅に削減できる、次世代の開発スタイルが示されています。

5. Google Cloud Runへのコンテナデプロイと本番環境へのスケール戦略

本アプリケーションは、Next.jsを用いたWebフロントエンドおよびバックエンドサーバーで構成されており、Dockerコンテナとしてパッケージングされています。動画内では、このコンテナを「Google Cloud Run」へデプロイする具体的な手順が解説されました。Cloud Runはリクエストがない場合にインスタンス数をゼロにスケールダウンできるため、無駄なホスティングコストが発生しません。一方で、WebSocketのような長時間の接続を維持するために、CPUを常に割り当てる設定（no-cpu-throttling）や、メモリ内に保持されるセッション状態の整合性を保つためのシングルインスタンス制限（max-instances=1）など、リアルタイム通信特有の推奨設定値が明示されました。

性能・ベンチマーク

動画内では、具体的なBLEUスコア（翻訳精度指標）などの数値は提示されませんでしたが、アプリケーションを実稼働させる上でのシステム的な制限事項と推奨されるリソース構成が提示されました。取材班の見立てでは、1つのサーバーインスタンスで処理可能な言語数には、WebSocket接続と音声処理のCPU負荷による物理的な限界があります。

評価項目 推奨設定・測定条件 出典（動画内情報）
同時処理可能な言語数 最大10〜15言語（シングルインスタンス時） 動画内スライドおよび解説
推奨インスタンス数 最大1インスタンス（デモ構成時。状態をメモリ管理するため） デプロイコマンド解説
CPU割り当て 常に割り当て（no-cpu-throttling）を有効化 Cloud Run設定解説
最小インスタンス数 0（リクエストがない場合は自動シャットダウン） Cloud Run設定解説
対応Node.jsバージョン Node.js 18以上 開発環境要件（README）

競合サービスとの比較

リアルタイム音声翻訳および双方向ストリーミングの分野における、主要な競合プラットフォームとの機能・設計面の比較は以下の通りです。（※競合サービスの情報は編集部注に基づきます）

プラットフォーム / 機能 Google Gemini 3.5 Live + LiveKit（本発表） OpenAI Realtime API Microsoft Azure Speech Translation
ストリーミング方式 WebSocket（双方向、低遅延ストリーミング） WebSocket / WebRTC（直接接続） gRPC / WebSocket
セッション共有設計 1言語1セッション（複数視聴者で共有可能） 原則1ユーザー1セッション 1セッション1ストリーム
デプロイ柔軟性 Cloud Run等のコンテナ環境にセルフホスト可能 OpenAIのマネージドAPIへの依存度高 Azureクラウドエコシステムへの統合
音声とテキストの同期 LiveKitのデータチャネルで音声と字幕を完全同期 API標準でテキストと音声を同時出力 音声出力と字幕テキストを別個に受信
優位点 視聴者が増えても翻訳セッション数を抑えられるため、コスト効率が極めて高い。 音声の表現力や応答速度において高い実績がある。 対応言語数が非常に多く、エンタープライズ実績が豊富。
弱点 デモ構成ではメモリ内で状態を管理するため、単一インスタンスの限界がある。 接続時間あたりのAPIコストが比較的高価である。 開発における自由度が低く、Azure固有の設計に縛られやすい。

料金・提供プラン

動画内では、本デモアプリケーション自体の利用料金は無料（オープンソース）とされていますが、実際に稼働させるにあたっては以下の各コンポーネントの利用料金が発生します。

  • Gemini API（Gemini 3.5 Live）: 接続時間および入力・出力トークン数に応じた従量課金。現在プレビュー提供段階であり、APIキーを取得することで一定の無料枠内での試用が可能です（編集部注）。
  • LiveKit: セルフホスト（Docker等での自社サーバー運用）の場合は完全に無料。マネージドサービスである「LiveKit Cloud」を利用する場合は、データ転送量や接続時間に応じた従量課金プランが適用されます（無料枠あり）。
  • Google Cloud Run: 割り当てられたCPU、メモリ、および処理したリクエスト数に応じた従量課金。リクエストがない時間はインスタンスがゼロになるため、開発段階でのコストを最小限に抑えられます。

日本から使う方法

日本の開発者が、手元のローカル環境またはクラウド環境でこのリアルタイム翻訳配信アプリを試すための具体的な手順は以下の通りです。

  1. 前提条件の準備

    • 開発マシンに Node.js 18以上 がインストールされていることを確認します。
    • Google AI Studio（またはGoogle Cloud Vertex AI）から Gemini APIキー を取得します。
    • LiveKit Cloudのアカウントを作成し、APIキー、シークレット、および接続URL（WebSocket）を取得します。ローカルで動かす場合はDocker環境が必要です。

  2. ソースコードの取得と依存関係のインストール ターミナルを開き、以下のコマンドを順に実行してGitHubからコードをクローンし、必要なパッケージをインストールします。

    git clone https://github.com/google-gemini/gemini-live-translate-livekit.git
cd gemini-live-translate-livekit
npm install

  3. 環境変数の設定 プロジェクトのルートディレクトリに .env.local ファイルを作成し、以下の通り取得した認証情報を記述します。

    LIVEEKIT_API_KEY=（あなたのLiveKit APIキー）
LIVEEKIT_API_SECRET=（あなたのLiveKit APIシークレット）
LIVEEKIT_URL=wss://（あなたのLiveKit接続URL）
GEMINI_API_KEY=（あなたのGemini APIキー）

  4. アプリケーションの起動 以下のコマンドを実行して、Next.jsのローカル開発サーバーを起動します。

    npm run dev

    ブラウザで http://localhost:3000 にアクセスすると、配信用のブロードキャスト画面が表示されます。生成されたQRコードまたはURLを別のブラウザタブ（またはスマートフォン）で開くことで、視聴者側としてリアルタイム翻訳を体験できます。

誰にどう効くのか

エンジニア（開発・インフラ）

Geminiの双方向WebSocket接続と、LiveKitのWebRTCパブリッシュ/サブスクライブ設計を組み合わせた、実践的な「リアルタイム・オーディオ・パイプライン」の参照実装が手に入ります。特に、同一言語の要求を1つのセッションに集約する「翻訳ブリッジ」の設計パターンは、APIコストの暴走を防ぐための極めて実用的な知見となります。

企画・マーケティング担当

グローバルなオンラインイベント、ウェビナー、または製品発表会において、同時通訳者を何人も手配することなく、安価かつ即座に多言語配信環境を用意できるようになります。視聴者は自身のスマートフォンでQRコードを読み取るだけで、好みの言語の音声と字幕を自前のイヤホンで聴取できるため、イベントの満足度向上に直結します。

経営層・意思決定者

社内の多国籍チームにおけるミーティングや、グローバル展開における障壁となっていた「言語の壁」を、既存のクラウドインフラ（Google Cloud）と生成AIの組み合わせによって、低コストかつ自社管理可能な安全な形で打破する具体的なロードマップが提示されたことになります。

まとめ

本発表は、Gemini 3.5 Liveの低遅延な音声翻訳能力を、LiveKitという強力なWebRTCフレームワークと組み合わせることで、実用的な多言語ブロードキャストシステムが容易に構築できることを証明しました。特に、コストとリソースの最適化を考慮した「翻訳ブリッジ」の設計は、商用アプリケーション開発における強力なテンプレートとなります。まずは公開されたGitHubリポジトリをクローンし、ローカル環境でその圧倒的な低遅延翻訳を体感することをお勧めします。

動画のタイムテーブル

  • 0:00ドイツ語から英語へのリアルタイム音声翻訳と字幕生成のデモ
  • 0:21登壇者Thor Schaeff氏の紹介とGemini 3.5 Liveモデルの概要説明
  • 1:02GitHubで公開されているオープンソースリポジトリの紹介
  • 1:15配信ページ（Broadcasting）のUIとEvent ID生成の解説
  • 1:34「翻訳ブリッジ（Translation Bridge）」を介した多言語配信のアーキテクチャ解説
  • 2:08視聴者が中国語を選択した際のバックエンドログとリアルタイム翻訳の挙動
  • 2:26フランス語の追加と、同一言語選択時のセッション共有（相乗り）のデモ
  • 3:13視聴者退出に伴うWebSocket接続のクローズとリソース解放の仕組み
  • 4:39ローカル開発環境のセットアップ手順と必要な依存関係の解説
  • 5:44環境変数（.env.local）の設定項目とLiveKit Cloudの連携方法
  • 6:11VS CodeのAIエージェント「Antigravity」を用いたソースコードの音声探索デモ
  • 6:50アーキテクチャの詳細解説（セッション管理、音声パイプライン、WebSocket接続）
  • 9:06Google Cloud Runへのデプロイ手順とDockerfile、Secret Managerの設定
  • 11:20システムのスケール制限と、大規模配信向けの「3層アーキテクチャ」設計の提案

記事で紹介したツール

この機能を、いま自分の環境で試す

記事の内容は公式発表の要約です。実際の使い勝手は触ってみないと分かりません。多くは無料枠から始められます。

公式サイトで試す

提供: OpenAI

#Google#開発者向け#生成AI#LLM#API#クラウド開発

本記事は元動画の映像・音声をAIが解析して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元動画を見る（解析モデル: gemini-3.5-flash）

関連記事