GeminiとFirebaseで構築する低遅延遠隔ロボティクス制御基盤

何が発表されたのか

Googleは公式YouTubeチャンネル「Google for Developers」において、マルチモーダルAIモデル「Gemini」および「Google AI Studio」を活用した低遅延遠隔ロボティクス制御フレームワークの構築事例を公開しました。

本事例では、ヨーロッパに滞在するMatías Piña Aguilera氏と、米国テキサス州に滞在するDavid Maliglowka氏という約1,700マイル（約2,735km）離れた拠点間で検証が実施されました。遠隔地に設置されたオープンソース準拠のロボットアーム（SO-101）に対し、Webブラウザ上の3Dデジタルツイン経由で指示を送り、低遅延で物理動作を再現する仕組みです。本発表は特定製品の商用GA（一般提供）ではなく、Geminiとクラウドインフラを組み合わせたリファレンス実装の公開という位置づけになります。

発表された機能・アップデートの全容

GeminiによるWebブラウザ向け3Dデジタルツインの生成

遠隔からロボットを操作するためには、操作者が現地のロボットの幾何学的構造を直感的に把握できるインターフェースが不可欠です。本プロジェクトでは、Matías氏がGeminiに対してプロンプトによる指示を行い、ブラウザ上で動作する3Dビジュアライザーを生成しました。

画面上には、3D空間にレンダリングされた「SO101」アームが表示され、各関節（J1〜J6）の角度を制御するGUIスライダーが実装されています。具体的には、旋回を担う「Shoulder Pan (J1)」（可動域：-1.92〜1.92 rad）、上下動を担う「Shoulder Lift (J2)」（可動域：-1.75〜1.75 rad）をはじめ、「Elbow Flex (J3)」「Wrist Pitch (J4)」「Wrist Roll (J5)」「Gripper (J6)」の各関節値がラジアン単位で可視化されます。Geminiとの数回の対話（プロンプトイテレーション）とコード調整により、ゼロから短時間で3D操作UIが完成しました。

Firebase Realtime Databaseを中継基盤とした超低遅延ストリーミング

ブラウザ側のスライダー操作を物理サーボへ伝達する通信層には、GoogleのリアルタイムNoSQLデータベース「Firebase Realtime Database」が採用されました。ブラウザ側の操作画面においてスライダーを動かすと、即座に該当関節のターゲット座標（target_joints）とタイムスタンプ（timestamp）がJSON形式でクラウドへ書き込まれます。

デモ映像の管理画面では、以下のようなデータ構造がリアルタイムに更新される様子が確認できます。

• elbow_flex: 0
• gripper: 0.35
• shoulder_lift: 1.27
• shoulder_pan: -0.88
• timestamp: 1702423289591
• wrist_flex: 0
• wrist_roll: 0

WebSocketを基盤とするFirebaseのデータ同期機能により、1,700マイル離れた拠点間であってもオーバーヘッドを最小化し、実用的な追従性を維持しています。

キャリブレーション情報に基づく物理サーボ制御スクリプトの自動生成

テキサス側の物理環境では、David氏が所有する実機アームのキャリブレーション設定ファイルをGeminiに読み込ませました。Geminiは、クラウド上のFirebase Realtime Databaseの変更を検知（Server-Sent Events / SSE等で監視）し、受信したラジアン値をFeetech製シリアルバスサーボのエンコーダー値（0〜4095 ticks）へマッピングしてUSBシリアルポート経由で送信するPythonスクリプトを自動生成しました。

画面上のコンソール「DIGITAL TWIN TELEOPERATION DASHBOARD」では、ブラウザ側の仮想関節値（VIRTUAL PHYSICS）と物理サーボのエンコーダー値（PHYSICAL SERVOS）が同期し、Matías氏がヨーロッパのブラウザ上でスライダーを動かした瞬間に、テキサスにある物理ロボットアームが滑らかに駆動する様子が実証されました。デモ終盤では、アームの先端グリッパーを用いてウォーターボトルのストローをDavid氏の口元へ運ぶ遠隔タスクを完遂しています。