Google、Gemma 4に搭載した「レイヤー別埋め込み（PLE）」の技術仕様を公開

何が発表されたのか

Google DeepMindのシニア研究者であるMaarten Grootendorst氏は、同社が開発したオープンソースの軽量言語モデル「Gemma 4 E2B」および「Gemma 4 E4B」に搭載されている中核技術「Per-Layer Embeddings（PLE：レイヤー別埋め込み）」の技術仕様を公開しました。この発表は、2026年9月25日にGoogle for Developersの公式チャンネルを通じて行われました。

Gemma 4のモデル名に含まれる「E」の文字は「Effective（実効的）」を意味しており、このPLE技術がその要となっています。PLEは、モデルの推論時に消費するアクティブなメモリ（VRAM）や計算量を抑えつつ、モデルが保持する知識量と表現力を劇的に高めるためのアプローチです。本技術はすでに一般提供（GA）の段階にあり、Hugging FaceやGitHubを通じてグローバルに公開されています。

発表された機能・アップデートの全容

1. 従来のトークン埋め込みとPLEの根本的な差分

従来の一般的な大規模言語モデル（LLM）では、入力されたテキストを「トークン」と呼ばれる最小単位に分割し、それをベクトルデータに変換します。この変換を行うのが「トークン埋め込みレイヤー（Token Embedding Layer）」です。従来のモデルでは、ある特定のトークン（例えば「Hi」という単語）に対して、モデル全体で共通の1つの固定されたベクトル表現しか割り当てることができませんでした。

これに対してGemma 4で導入されたPLEは、トークンに対するベクトル表現をレイヤー（層）ごとに独立して持たせる仕組みを採用しています。これにより、同じ「Hi」というトークンであっても、モデルの浅いレイヤー（Layer 1）と、深いレイヤー（Layer 6）とで、全く異なるベクトル表現を適用することが可能になります。このアプローチにより、モデルの処理段階に応じた、より多様で文脈に即した高度な表現力が実現します。

2. PLEの3次元ルックアップテーブルの仕様と次元数

動画内では、PLEの内部構造が詳細な3次元のルックアップテーブルとして可視化されました。このテーブルは、以下の3つの軸で構成されています。

• ボキャブラリサイズ（Vocabulary Size）: 262,144トークン
• 埋め込み次元（Embedding Dimension）: 256次元
• レイヤー数（Number of Layers）: E2Bモデルは35層、E4Bモデルは42層

この3次元構造により、PLE全体のパラメータサイズは非常に巨大になります。具体的には、PLE部分だけで約2.3B（23億）ものパラメータを保持することになります。従来の軽量モデルの常識からすると、2.3Bもの埋め込みテーブルをメモリ上に常駐させることは、軽量化の目的に矛盾するように見えます。しかし、Google DeepMindはこの課題を極めて合理的なアーキテクチャで解決しています。

3. 「実効パラメータ（Effective Parameters）」と計算効率の極大化

Gemma 4 E2B/E4Bの最大の特徴は、モデル全体のパラメータを「計算に使用するパラメータ」と「ストレージに格納しておくパラメータ」に分離した点にあります。動画内で示されたGemma 4のパラメータ内訳は以下の通りです。

• コアアーキテクチャ（デコーダー等）: 約1.98Bパラメータ
• エンコーダー（Encoders）: 約450Mパラメータ
• PLE（Per-Layer Embeddings）: 約2.3Bパラメータ
• トークン埋め込みテーブル: 約400Mパラメータ

このうち、実際にトークンの生成や文脈の計算を常時行うのは「コアアーキテクチャ」と「エンコーダー」の計約2.43Bパラメータのみです。これを同社は「実効パラメータ（Effective Parameters）」と呼んでいます。一方、2.3Bパラメータに及ぶPLEや、400Mパラメータのトークン埋め込みテーブルは、その全体が一度に計算に使われるわけではありません。

4. オンデマンドな埋め込み抽出とフラッシュストレージの活用

推論時において、モデルに入力されるトークンはごく一部に限られます。例えば「Hi」という1つのトークンを処理する場合、PLEテーブル全体（262,144トークン分）のうち、必要なのは「Hi」に対応する1列（各レイヤー分のベクトル）のみです。これはテーブル全体の極めて小さなサブセットに過ぎません。

Gemma 4はこの特性を利用し、巨大なPLEテーブルをVRAM（ビデオメモリ）ではなく、デバイスのフラッシュストレージ（SSDなど）に格納します。そして、推論時に特定のトークンが入力された瞬間にのみ、そのトークンに対応する埋め込みベクトルだけを高速にメモリへロードします。この「スパース（疎）な抽出」により、実行時のメモリ消費量を極小に抑えながら、実質的に5Bクラスのモデルに匹敵する表現力を2Bクラスの実効パラメータで実現しています。

5. 各レイヤーへのPLEの挿入プロセス

抽出されたレイヤー固有の埋め込みベクトルは、各デコーダーレイヤーの処理の直前に挿入されます。具体的には、トークン埋め込みレイヤーから出力された基本ベクトルに対し、各レイヤー（Layer 1からLayer n）においてPLEからロードされた専用のベクトルが動的に加算、または結合されます。

これにより、各レイヤーのSelf-Attention（自己アテンション）やFFN（フィードフォワードネットワーク）は、その処理段階に最も適した豊かな表現力を持つトークン情報を入力として受け取ることができます。この階層的な情報付加プロセスにより、タスクの理解度や生成されるテキストの品質が向上します。