レイヤー別埋め込み（PLE） とは何か
Google DeepMindが開発した新世代のオープンソース軽量言語モデル「Gemma 4」ファミリーに搭載された「Per-Layer Embeddings（PLE：レイヤー別埋め込み）」は、大規模言語モデル（LLM）の表現力と計算効率を極限まで両立させるために設計された、革新的な埋め込み（Embedding）技術です。
従来のLLMでは、入力されたトークンに対してモデル全体で共通の1つの固定ベクトル（2次元のルックアップテーブル）しか割り当てられませんでした。これに対しPLEは、モデルのデコーダーレイヤー（層）ごとに独立したベクトル表現を割り当てる3次元構造を採用しています。同じトークンであっても、浅い層と深い層で異なるベクトル表現を適用することで、モデルの処理段階に応じた高度で文脈に即した表現力を実現します。
この技術の最大の特徴は、膨大なパラメータを持つ埋め込みテーブルをVRAM（ビデオメモリ）に常駐させるのではなく、デバイスのフラッシュストレージ（SSDなど）に格納し、推論時に必要なトークンのベクトルのみを動的にロードする点にあります。これにより、実行時のアクティブなメモリ消費を極小に抑えながら、実質的にワンランク上のモデルに匹敵する知識量と表現力をエッジデバイス上で実現しています。
発表された機能・内容の全体像
Gemma 4ファミリーの発表、およびそれに続く技術仕様の公開により、PLEを中心とする独創的なアーキテクチャの全容が明らかになりました。複数の発表に分散している各モデルの仕様、パラメータ構成、および採用技術を1つの表に統合して整理します。
表1：Gemma 4ファミリーの統合仕様一覧
| モデル名 | 総パラメータ数（ストレージ上） | 実効パラメータ数（計算時） | デコーダー層数 | 採用されている主要技術 | 画像・音声の処理方式 | 明らかになった発表元 |
|---|---|---|---|---|---|---|
| Gemma 4 E2B | 約5.1B | 約2.43B | 12層（※記事3記述） 35層（※記事1記述） |
レイヤー別埋め込み（PLE） | ・音声：約3億pのConformer ・画像：約1.5億pのViT |
記事1 / 記事3 |
| Gemma 4 E4B | 非公開 | 約4B（※記事3記述） | 12層（※記事3記述） 42層（※記事1記述） |
レイヤー別埋め込み（PLE） | ・音声：約3億pのConformer ・画像：約1.5億pのViT |
記事1 / 記事3 |
| Gemma 4 12B | 約120億 | 約120億 | 48層 | エンコーダーフリー（Encoder-Free） | ・音声：40ms分割＋直接投影 ・画像：35M軽量Embedder |
記事2 / 記事3 |
| Gemma 4 26B A4B | 約260億 | 約40億 | 30層 | Mixture-of-Experts（MoE） | ・画像：約5.5億pのViT | 記事3 |
| Gemma 4 31B | 約310億 | 約310億 | 60層 | 高密度（Dense）フラグシップ | ・画像：約5.5億pのViT | 記事3 |
（※注：パラメータ数の「p」はパラメータを指します。E2Bの総パラメータ数約5.1Bは、コア1.98B＋エンコーダー450M＋PLE 2.3B＋トークン埋め込み400Mの合算値です。レイヤー数の不整合については後述の「横断して見えてくること」で詳しく解説します）
各技術仕様の深掘り
1. PLE（Per-Layer Embeddings）の3次元構造と動的ロードのメカニズム
PLEは、単なる概念的なアプローチではなく、厳密な3次元のルックアップテーブルとして実装されています。このテーブルは以下の3つの軸で構成されています。
- ボキャブラリサイズ（Vocabulary Size）: 262,144トークン
- 埋め込み次元（Embedding Dimension）: 256次元
- レイヤー数（Number of Layers）: E2Bモデルは35層、E4Bモデルは42層
この3次元構造により、PLE部分だけで約2.3B（23億）ものパラメータを保持することになります。従来のモデル設計では、これほど巨大なテーブルをメモリ（VRAM）上に常駐させる必要があり、軽量モデルの利点が損なわれていました。
Gemma 4はこの課題を解決するため、パラメータを「計算に使用するパラメータ」と「ストレージに格納しておくパラメータ」に分離しました。E2Bモデルを例にとると、パラメータの内訳は以下の通りです。
- コアアーキテクチャ（デコーダー等）: 約1.98Bパラメータ
- エンコーダー（Encoders）: 約450Mパラメータ
- PLE（Per-Layer Embeddings）: 約2.3Bパラメータ
- トークン埋め込みテーブル: 約400Mパラメータ
このうち、推論時に常時計算を行うのは、コアアーキテクチャとエンコーダーを合わせた「約2.43Bパラメータ」のみであり、これを「実効パラメータ（Effective Parameters）」と呼びます。
残りの巨大なPLEテーブル（2.3B）およびトークン埋め込みテーブル（400M）は、VRAMではなくデバイスのフラッシュストレージ（SSDなど）に格納されます。推論時に特定のトークン（例：「Hi」）が入力された瞬間、そのトークンに対応する1列（各レイヤー分のベクトル）のみをフラッシュストレージから高速にメモリへロードします。この「スパース（疎）な抽出」プロセスにより、実行時のメモリ消費量を極小に抑えつつ、5Bクラスのモデルに匹敵する表現力を実現しています。
抽出されたレイヤー固有の埋め込みベクトルは、各デコーダーレイヤーの処理の直前に挿入されます。具体的には、トークン埋め込みレイヤーから出力された基本ベクトルに対し、各レイヤーにおいてPLEからロードされた専用のベクトルが動的に加算、または結合されます。これにより、各レイヤーのSelf-AttentionやFFNは、その処理段階に最も適した豊かな表現力を持つトークン情報を入力として受け取ることができます。
表2：従来のアプローチとGemma 4のPLEアプローチの比較
| 評価項目 | 従来のアプローチ | Gemma 4のPLEアプローチ | 出典 |
|---|---|---|---|
| 計算メモリ効率 | 埋め込みテーブルをすべてVRAMに展開するため、メモリを圧迫する。 | 必要なトークンのベクトルのみをフラッシュから動的ロードするため、VRAMを消費しない。 | 記事1（1:04） |
| トークン表現力 | 全レイヤーで共通の埋め込み表現を使用するため、文脈の段階的解釈が制限される。 | レイヤーごとに最大42パターンの異なる埋め込み表現を持ち、表現力が極大化する。 | 記事1（1:35） |
| パラメータ効率 | 表現力を上げるためにモデル全体のサイズ（実効パラメータ）を大きくする必要がある。 | 実効パラメータを増やさずに、ストレージ上の静的データのみを増やして性能を向上。 | 記事1（1:47） |
2. 12Bモデルにおける「エンコーダーフリー（Encoder-Free）」構造
Gemma 4 12Bモデルでは、マルチモーダル処理における最大のボトルネックであった「専用エンコーダー」を完全に排除するアプローチが採用されました。
従来のモデルでは、画像処理に約5億5000万（550M）パラメータのビジョンエンコーダー、音声処理に約3億（300M）パラメータのConformerなどの専用エンコーダーが必要でした。これらはそれ自体が軽量LLMに匹敵するサイズであり、計算リソースを圧迫するだけでなく、LLM（デコーダー）が処理を開始する前にエンコーダー側の処理を待つ必要があるため、最初のトークンを出力するまでの時間（TTFT：Time to First Token）が長くなる原因となっていました。
Gemma 4 12Bは、このエンコーダーを排除し、以下の手法で入力データを直接LLMに流し込みます。
音声処理（40msセグメント分割と直接投影）: 音声入力を40ミリ秒（40ms）の非常に短いセグメントに機械的に分割し、各セグメントから音波の「振幅値（amplitude values）」のセットを直接抽出します。この振幅値のセットを、軽量な「線形投影（Linear Projection）」レイヤーに通すだけで、LLMに直接入力可能なテンソルへと変換します。音声データは本質的に時系列のシーケンシャルな情報であるため、LLM（デコーダー）自身が持つ時系列処理能力をそのまま活かして、エンコーダーなしで意味や文脈を解釈させることが可能です。これにより、3億パラメータのConformerの処理を丸ごとスキップし、TTFTを大幅に短縮しています。
画像処理（軽量Embedderと位置情報の付与）: 画像は3次元の情報（幅、高さ、RGBチャンネル）を持つため、音声よりも複雑です。12Bモデルでは、5億5000万パラメータのビジョンエンコーダーの代わりに、わずか3500万（35M）パラメータの極めて小さな「Embedder」を1層だけ配置します。この軽量Embedderは画像の「意味理解」は行わず、画像をパッチ（断片）に分割し、LLMが受け入れられる次元の埋め込みベクトルに変換することだけに特化しています。 また、エンコーダーを介さないことで失われる画像の幾何学的構造を認識させるため、軽量Embedderの内部で各パッチに対して明示的に「2次元の位置エンコーディング（Positional Embedding）」を付加します。これにより、LLMは画像全体の構造を保持したままデータを処理できます。
この35MのEmbedderにパラメータが必要な理由は、高次元の画像ピクセルデータをLLMの入力空間へ変換するための物理的な接続部分（線形投影レイヤーの行列）が巨大になるためです。例えば、48×48ピクセルのRGB画像（合計48×48×3 = 6,912ピクセル）を処理する場合、この入力次元数とモデル次元数を掛け合わせることで、線形投影レイヤーの重み（weights）が決定されます。計算式によると、この線形投影部分だけで26,545,920パラメータ（約26.5M）を占めています。これに加えて、レイヤー正規化（LayerNorm）や、画像の幾何学的構造をLLMに認識させるための「2次元の位置エンコーディング（Positional Embedding）」に必要なパラメータが加算されることで、最終的にEmbedder全体のパラメータ数が35,176,704（約35M）に達します。つまり、この35Mというサイズは、高度な意味抽出のためのニューラルネットワークの規模ではなく、高次元の画像データをLLMの入力空間へ変換するための、物理的な接続インターフェース（投影レイヤー）のサイズを意味しています。
意味理解の処理をLLM（デコーダー）側に完全一元化することで、モデル全体のアーキテクチャがシンプルになり、情報の損失や個別学習のコスト、推論時のオーバーヘッドが排除されます。
表3：Gemma 4 12Bと従来のエンコーダー搭載モデルの比較
| 評価項目 | Gemma 4 12B (エンコーダーフリー) | 従来のエンコーダー搭載モデル | 出典（動画内） |
|---|---|---|---|
| 画像処理モジュール | 軽量Embedder（約3,500万パラメータ） | ビジョンエンコーダー（最大5億5,000万パラメータ） | 記事2（01:22 / 00:22） |
| 音声処理モジュール | 40msセグメント分割＋直接投影（エンコーダーなし） | Conformer（約3億パラメータ） | 記事2（00:51 / 00:32） |
| 最初のトークン出力時間 (TTFT) | 極めて短い（エンコーダーの処理待ちがないため） | 長い（エンコーダーの事前処理が必要なため） | 記事2（00:39 / 00:47） |
| 意味理解の処理場所 | LLM（デコーダー）に完全一元化 | エンコーダーとデコーダーに分散 | 記事2（02:05） |
3. 26B A4Bモデルにおける「Mixture-of-Experts（MoE）」
26B A4Bモデルは、複雑なタスクを効率的に処理するためにMixture-of-Experts（MoE：混合専門家）アーキテクチャを採用しています。モデル名にある「A」は「Active（活性化）」を示しており、総パラメータ数260億（30層デコーダー構成）のうち、1回の推論（トークン処理）で実際に使用されるアクティブパラメータ数は40億に抑えられています。
これにより、260億パラメータ規模の表現力を持ちながら、40億パラメータ規模のモデルと同等の高速な推論速度を維持します。また、画像処理能力を強化するため、約5億5000万パラメータの大規模なVision Transformer（ViT）エンコーダーを統合しており、高度な画像解析タスクに対応します。
4. 31Bモデルにおける「高密度（Dense）フラグシップ」
Gemma 4ファミリーの頂点に位置するのが31B（310億パラメータ、60層デコーダー構成）モデルです。このモデルは、MoEやエンコーダーフリーといった特殊なアーキテクチャ上の技巧（トリック）を使わず、愚直にパラメータ数をスケールアップさせた高密度（dense）モデルです。
26B A4Bと同様に、約5億5000万パラメータの大型Vision Transformer（ViT）を画像エンコーダーとして搭載しており、ファミリーの中で最も高い汎用性と推論精度を誇ります。クラウドサーバーや高性能ワークステーションでの運用に適しており、複雑な論理推論や高精度なマルチモーダル理解に威力を発揮します。
