一般利用者向けの新機能を追加する発表ではありません。
今回の対象は、エージェント(自分で手順を進めるAI)です。結果を受け取るたびに次の行動を選ぶよう、Gemma 4 E2Bを追加で学習させました。
題材の「Plane Strike」は、6×6の盤面に隠れた飛行機を探すゲームです。AIは1マスを調べる道具を呼び出し、当たりか外れかを見て次のマスを選びます。飛行機を構成する8マスをすべて当てるか、23回調べると終了します。
学習前のモデルは、学習に使っていない盤面で勝率9.4%でした。平均で22.44回の攻撃を要しました。
Googleによると、100ステップの学習中に勝率は約0.20から約0.95に上がりました。平均の攻撃回数は約16回になりました。
ただし、約95%は学習中の値です。学習前の未使用盤面での値とは、同じ条件で比較した結果ではありません。
画像:Google Developers(公式発表)Tunixの使い方 盤面の反応を次の行動につなぐ
Tunixは、AIモデルの追加学習に使う仕組みです。今回の例では、報酬を手がかりに行動を改善する「強化学習」を使いました。
学習方法にはGRPO(複数の行動結果を比べて学ぶ手法)を採用しました。同じ盤面で8回のゲームを行い、その結果を学習に使います。1ステップでは8種類の盤面を扱いました。
Gemma 4は道具を呼び出すと、結果が返るまで生成を止めます。盤面の情報を受け取ると、同じ応答の中で考え方と次の操作を続けます。学習中は、正しい道具の呼び出しが約100%に近づきました。
計算にはCloud TPU v6e-8の1台を使用しました。モデルやゲームの進行を担う処理が8個のチップを共有します。vllm-tpuを使い、複数のゲームを非同期で進める構成です。
現在の構成では、ゲーム内の各攻撃が同じ一連の行動に対する報酬を共有します。Googleは、各手の貢献をより細かく評価すれば、さらなる改善が可能だと説明しています。
Plane Strikeの条件と学習結果
表は記事の最初(要点の下)にあります
サイソクの見方:95%はゲームの条件と合わせて見る
AIエージェントの学習方法を検討するなら、Tunixの公開コードで盤面と道具をつなぐ構成を確認するとよいでしょう。一方、業務での性能を判断したいなら、Plane Strikeの勝率だけでなく、自分の課題で評価する必要があると考えられます。
判断ガイド公開結果を導入判断に使うとき2つの迷いに、状況ごとのおすすめと理由開く閉じる
判断ガイド
公開結果を導入判断に使うとき
状況ごとのおすすめと理由です。どれを選ぶかは、ご自身の状況で決めてください。
95%の勝率を業務導入の根拠にできる?
- 状況
- Plane Strike以外の課題で性能を判断したい
- おすすめ
- 自分の課題でも評価する
- 理由
- この結果はPlane Strikeでの学習後の勝率で、ゲームは6×6の盤面と隠れた8マスの飛行機を使います。業務の課題で同じ性能が出るとは示されていないため、自分の環境で確かめる判断が必要です。
- 出どころ
- 出典・developers.googleblog.com
道具連携を独自に実装するべき?
- 状況
- 標準的な複数手順の道具連携を作る
- おすすめ
- まずTunixの既存機能を確認する
- 理由
- TunixにはToolEnvironment、ToolAgent、ToolManagerが用意されており、独自のメッセージや観察の受け渡しを実装せずに使えます。独自のターン制御が必要な場合は、個別実装が選択肢になります。
- 出どころ
- 出典・developers.googleblog.com
不安Q&A
勝率やゲームの条件はどう見る?
Q学習後の平均攻撃回数はどれくらい減った?▾
Googleの発表では、学習前は平均22.44回、100ステップの学習後は約16回の攻撃でした。ゲームは飛行機の8マスをすべて当てるか、23回攻撃すると終了します。
出典・developers.googleblog.com今できること公開コードのenv.pyを開き、ゲームの終了条件と攻撃回数の扱いを確認する。
Q学習中は同じ盤面を何度も使うの?▾
Q道具を呼び出した後、モデルは続けて動ける?▾
Gemma 4は道具の呼び出し後、tool_responseでいったん生成を止め、結果を受け取ってから同じassistant turn内で次の考えや道具の呼び出しを続けます。
出典・developers.googleblog.com今できること公開コードのstrike_tool.pyを開き、道具の応答を同じターンに戻す処理を見る。
QTunixではゲーム用の環境を必ず自作する必要がありますか?▾
Googleによると、一般的な複数の道具を使うAI向けに、環境や道具を管理する仕組みが用意されています。今回のゲームでは、手順を細かく制御するために環境を実装しています。