Google DeepMindがGemma 4を公開、エンコーダーフリーなど4種の革新アーキテクチャを徹底解説

何が発表されたのか

Google DeepMindは、オープンなマルチモーダル大規模言語モデル（LLM）の最新世代「Gemma 4」ファミリーの詳細を公開しました。本ファミリーは、スマートフォンなどのオンデバイス環境から、ハイエンドのノートPC、さらにはクラウド環境までをカバーする5つのモデルサイズで構成されています。すでにHugging Faceなどの外部プラットフォームを通じて、オープンモデルとして提供が開始されています。発表の位置づけとしては、既存のGemmaシリーズを大幅に強化した新世代モデルであり、研究段階ではなく、開発者が即座に利用可能な実用フェーズの技術として一般提供されています。テキストだけでなく、音声や画像といった複数のモダリティをネイティブに処理できる点が、前世代からの大きな進化です。

発表された機能・アップデートの全容

動画内で示された各モデルの内部構造スライドを基に、Gemma 4ファミリーが採用している4つの異なるアーキテクチャと、それぞれの目玉機能を詳細に解説します。

1. 超軽量・高効率な「E2B」および「E4B」とPer-Layer Embeddings（PLE）技術

E2B（20億パラメータ規模）とE4B（40億パラメータ規模）は、スマートフォンなどのオンデバイス環境での動作に特化した、高密度（dense）かつ高効率なモデルです。モデル名に含まれる「E」は「Effective（効果的）」を意味しており、その中核技術として「Per-Layer Embeddings（PLE：層ごとの埋め込み）」を採用しています。

PLEは、各デコーダー層（12層構成）が固有に持つ埋め込みベクトルの検索テーブル（ルックアップテーブル）として機能します。これにより、モデル全体のサイズを極めて小さく抑えながら、表現力を高めることに成功しています。さらに、テキストだけでなく、専用のエンコーダーを介して音声や画像を処理するマルチモーダル性能を備えています。音声処理には約3億パラメータのConformerベースのエンコーダー、画像処理には約1億5000万パラメータのVision Transformer（ViT）を搭載し、省電力かつ高精度なローカル処理を実現します。

2. 専用エンコーダーを排除した「12B」のエンコーダーフリーアーキテクチャ

12B（120億パラメータ、48層デコーダー構成）モデルは、ハイエンドのノートPCでの実行を想定した高密度モデルです。このモデルの最大の特徴は、従来のマルチモーダルモデルで必須とされていた専用の音声・画像エンコーダーを完全に排除した「エンコーダーフリー（Encoder-free）」設計にあります。

E2BやE4Bのように音声や画像を処理するための独立したニューラルネットワーク（エンコーダー）を持たず、入力データを線形投影（Linear Projection）によって直接LLM（大規模言語モデル）の入力空間へとマッピングします。例えば音声入力の場合、40ミリ秒（40ms）のフレーム単位に分割し、それを直接「Linear Projection」層を介してLLMのデコーダーに流し込みます。画像についても同様に、エンベッダーを通した後に線形投影を行います。これにより、モデル全体のアーキテクチャがシンプルになり、メモリ消費量の削減と処理の高速化を両立しています。

3. 動的なパラメータ活性化を実現する「26B A4B」Mixture-of-Experts（MoE）

26B A4Bモデルは、複雑なタスクを効率的に処理するためにMixture-of-Experts（MoE：混合専門家）アーキテクチャを採用しています。モデル名にある「A」は「Active（活性化）」を示しており、総パラメータ数260億（30層デコーダー構成）のうち、1回の推論（トークン処理）で実際に使用されるアクティブパラメータ数は40億に抑えられています。

これにより、260億パラメータ規模の表現力を持ちながら、40億パラメータ規模のモデルと同等の高速な推論速度を維持します。また、画像処理能力を強化するため、約5億5000万パラメータの大規模なVision Transformer（ViT）エンコーダーを統合しており、高度な画像解析タスクに対応します。

4. ファミリー最高峰の表現力を誇る高密度フラグシップ「31B」

Gemma 4ファミリーの頂点に位置するのが31B（310億パラメータ、60層デコーダー構成）モデルです。このモデルは、MoEやエンコーダーフリーといった特殊なアーキテクチャ上の技巧（トリック）を使わず、愚直にパラメータ数をスケールアップさせた高密度（dense）モデルです。

26B A4Bと同様に、約5億5000万パラメータの大型Vision Transformer（ViT）を画像エンコーダーとして搭載しており、ファミリーの中で最も高い汎用性と推論精度を誇ります。クラウドサーバーや高性能ワークステーションでの運用に適しており、複雑な論理推論や高精度なマルチモーダル理解に威力を発揮します。