動画生成を使わないロボットAI手法、LIBERO比較で最高94.7%の作業成功率　SB Intuitionsが公表

ロボット制御や自動化に取り組む技術者にとって、今回の研究は、未来の動画を生成せずに視覚情報を行動の学習に役立てる試みです。Latent-WAM（レイテント・ワム）は、カメラ画像などを基に未来の視覚特徴を予測し、ロボットの行動を生成する実験的な学習フレームワークです。

動画の代わりに未来の視覚特徴を予測

SB Intuitionsの技術ブログによると、未来の動画フレームを予測する方法は、多数の視覚トークンや繰り返しの生成処理によって計算コストが大きくなる場合があります。

Latent-WAMでは、視覚情報の意味や動きを捉えるモデル「V-JEPA 2」を採用しました。未来の画面をピクセル単位で再現する代わりに、未来の視覚表現（潜在空間の特徴量）を予測します。

事前学習には、AgiBot AlphaやRDT-ALOHAなどの公開ロボットデータセットを使用しました。拡張後のデータは合計約2,716.5時間です。ロボットごとの関節構成や制御周波数の違いに対応するため、行動を16次元の共通表現に変換して学習させています。

LIBEROの比較では双方向構成が平均94.7%

検証実験では、モデル内部の情報交換（アテンション構造）の構成による成功率の違いを比較しました。

双方向のアテンション構成が最も高い平均成功率を記録

「Bidirectional（双方向）」は、LIBEROの3つのベンチマークで平均94.7%の成功率を収めました。ただし、同社は追加の推論負担を考慮し、速度を優先してAction → Visual構成を採用しています。これは表のAction → Videoに相当する構成です。

この構成では、未来の視覚予測が行動を参照する一方、行動生成は未来予測に依存しません。そのため、推論時には未来予測の処理を省略できます。

過去の色を覚える課題では追加学習で86.0%に

現在のカメラ画像には映っていない過去の情報を覚えておく必要がある「RememberColor3」タスクも検証しました。このタスクでは、最初に見せられた色の指示を記憶し、後から正しい対象物を選びます。

過去の観測を扱う視覚メモリとして、Full-historyとCompact memoryの2つを試しました。その結果、色の指示を認識できても、正しい対象物を選べない場合があることが分かりました。

そこで、方策が遭遇した状態に対する専門家の行動を集める「DAgger」や、成功・失敗のフィードバックを使って行動生成を調整する「DiffusionNFT」を検討しました。自力で成功できない難しい状況には、専門家による成功例も追加しています。

失敗したケースの専門家データとDiffusionNFTを用いた学習方法を更新した結果、RememberColor3の成功率は同じ評価セットで68.5%から86.0%に向上しました。この学習方法では、Full-history memoryが86.0%、Compact memoryが81.0%でした。

製品への搭載時期やモデルの公開予定

• Latent-WAMを搭載した具体的な製品や商用サービスの提供開始時期は、まだ発表されていません。
• 学習コードやモデルの重み（オープンウェイト）の一般公開予定については、まだ公表されていません。