Google Geminiで1700マイル先のロボットを動かすWebUIを構築、マルチモーダルAIによる物理制御の新潮流

何が発表されたのか

Googleは、同社のマルチモーダルAI「Gemini」および開発プラットフォーム「Google AI Studio」を活用し、物理的なロボットアームを遠隔地からリアルタイムで操作するデジタルツイン・システムの実証デモを公開しました。このプロジェクトは、ニューヨークにいる開発者のMatías Piña Aguilera氏と、テキサスにいるDavid Maliglowka氏の共同作業によって実施されました。両拠点の距離は、約1700マイル（約2735キロメートル）に及びます。

本発表は、単なる研究段階のコンセプト提示にとどまらず、既存の「Gemini 1.5 Pro」などの商用モデルと、Googleのリアルタイムデータベースサービス「Firebase Realtime Database」を組み合わせることで、実用的なハードウェア制御システムを極めて短期間で構築できることを証明したものです。AIがコードを生成するだけでなく、物理ハードウェアのキャリブレーションデータを理解し、Web上の3Dシミュレータと物理デバイスを仲介する役割を果たせる点が、技術的な大きなブレイクスルーとなっています。

発表された機能・アップデートの全容

動画内で実演されたデモシステムは、複数の高度な技術要素がGeminiをハブとして統合されています。その具体的な機能と動作プロセスについて、映像から確認できる詳細なシステム構成を基に解説します。

1. Geminiを活用した3Dロボットビジュアライザーの自動生成

Matías氏は、Webブラウザ上で動作するロボットアームの「3Dビジュアライザー（3D visualizer）」を構築するためにGeminiを活用しました。画面上に表示されたWebアプリケーション「Demo Lab」には、ロボットアームの3D CADモデルがレンダリングされており、ユーザーはブラウザ上でアームの姿勢を自由な角度から確認できます。

（編集部注：この3Dレンダリングには、WebGLおよびThree.jsなどのライブラリが使用されていると推測されます。）

画面の右側には「Joint Inspector」と呼ばれるコントロールパネルが配置されています。ここには、ロボットアームの関節に対応する以下のスライダーが用意されており、手動で数値を変更できます。

• Shoulder Pan (J1): 可動範囲 -1.92 〜 1.92 ラジアン
• Shoulder Lift (J2): 可動範囲 -0.68 〜 1.92 ラジアン
• Elbow Flex (J3): 関節の屈曲制御
• Wrist Pitch (J4): 手首の上下角制御
• Wrist Roll (J5): 手首の回転制御
• Gripper Claw (J6): 爪の開閉制御

これらの複雑なUIコンポーネントと3Dモデルの同期ロジックは、Geminiに対する指示（プロンプト）を通じて自動生成されました。

2. Firebase Realtime Databaseによる超低遅延の関節座標同期

操作者がブラウザ上のスライダーを動かすと、Webアプリケーションは即座に新しい関節座標（joint coordinates）を送信します。この通信のバックエンドとして、Googleの「Firebase Realtime Database」が採用されています。

動画内では、ブラウザの操作と連動して、Firebase上のJSONデータがリアルタイムに更新される様子が映し出されました。データベースのURLとして「https://cam-demo-lab-default-rtdb.firebaseio.com/」が確認できます。送信されるデータ構造は以下の通りです。

{
  "target_joints": {
    "elbow_flex": 0,
    "gripper": 0.35,
    "shoulder_lift": 0.08,
    "timestamp": 1782423290375,
    "wrist_flex": 0,
    "wrist_rot": 0
  }
}

この軽量なJSONデータが、WebSocketを介してテキサス側へミリ秒単位の遅延で同期されます。これにより、長距離間であっても操作のタイムラグを最小限に抑えることに成功しています。

3. キャリブレーションファイルのGemini解析と物理アーム制御

テキサス側で物理ロボットアームを管理するDavid氏は、物理ハードウェア固有の「キャリブレーションファイル（calibration file）」をGeminiに読み込ませました。ロボットアームを構成するサーボモータ（動画内ではID 1からID 6までの複数のサーボが確認可能）の特性や、エンコーダのパルス値をラジアン角に変換するための数式を、Geminiに解釈させるためです。

Geminiは、このキャリブレーションデータを基に、Firebaseから受信した関節座標を物理的なサーボ制御信号へ変換するPythonクライアントスクリプト「remote_se101_client.py」を生成しました。

David氏のPC画面では、このPythonスクリプトが動作し、以下のステータスがリアルタイムに更新されていく様子が記録されています。

• PHYSICAL SERVOS (Calibrated Encoder)
• 各サーボ（Pan, Lift, Flex, Twist, Roll, Gripper）の現在値と目標値の差分
• Firebase Cloudの接続ステータス（LIVE表示）

4. 逆運動学（Inverse Kinematics）ソルバーのWeb実装

ブラウザのUI画面には、「IK Solver」というトグルスイッチが用意されています。これは「逆運動学（Inverse Kinematics）ソルバー」を有効化する機能です。

通常の操作では、各関節（J1〜J6）の角度を個別にスライダーで調整する必要があります。しかし、IKソルバーを有効にすると、ロボットアームの先端（グリッパー）を「移動させたい3D空間上の座標」にドラッグするだけで、その位置に到達するために必要なすべての関節角度が自動的に逆算されます。

（編集部注：逆運動学の計算式は幾何学的に非常に複雑であり、手動での実装には高度な数学的知識が必要となります。）

Geminiは、この複雑なIK計算アルゴリズムをJavaScriptコードとして出力し、フロントエンドに組み込む役割も担いました。これにより、専門的なロボット工学の知識がないWebエンジニアでも、高度な直感的操作UIを実装できるようになりました。

5. マルチモーダルAIによるハードウェア開発プロセスの民主化

本デモが提示した最大の価値は、ハードウェア開発における「プロトタイピング速度の圧倒的な向上」です。従来、物理デバイスを遠隔操作するシステムを構築するには、以下の専門領域をすべて個別に設計・実装する必要がありました。

• 3D CADデータの軽量化とWebGLへの移植
• 双方向の低遅延通信プロトコルの設計
• サーボモータのキャリブレーションと制御ロジックの記述
• 逆運動学などのロボット工学的な計算処理

今回のプロジェクトでは、Matías氏とDavid氏がそれぞれの専門領域をGeminiに仲介させることで、これらのプロセスを短時間で統合しました。AIが「仕様の理解」「コード生成」「デバッグの支援」を包括的に行うことで、物理的なモノづくり（フィジカルコンピューティング）のハードルが劇的に下がったことを意味しています。