DeepSeek、超巨大文脈を極小メモリで動かす「DeepSeek-V4.1-Flash」発表

何が発表されたのか

AI研究開発企業DeepSeekは2026年9月10日、新たな言語モデルアーキテクチャを採用した「DeepSeek-V4.1-Flash」の技術論文を公開し、同日よりAPI経由での一般提供を開始しました。本モデルは研究段階の概念実証にとどまらず、すでに商用APIとして本番環境で稼働しています。

総パラメータ数は前世代「V4-Flash」の2840億から5520億（552B）へ拡大しました。これに加え1960億パラメータの外部記憶モジュール構造を備えています。一見するとモデルの大型化に伴い計算コストが増大するように見えますが、内部構造を全面的に刷新することで、入力処理時（プレフィル時）のアクティブパラメータ数をわずか80億（8B）に抑制しています。

自律型AIエージェントのように、巨大なコードベースやツール実行履歴を何度も読み込む実務環境において、ボトルネックとなるKVキャッシュの生成・読み出しコストを極限まで低減させることに成功しています。

発表された機能・アップデートの全容

Causal Encoder-Decoder（CED）によるプレフィル処理の最適化

従来のTransformerモデルでは、100万トークンの巨大プロンプトを入力した際、全40層などのすべてのレイヤーにおいて100万トークン分の計算を通す必要がありました。DeepSeek-V4.1-Flashでは「Causal Encoder-Decoder（CED）」と呼ばれる非対称アーキテクチャを導入しました。

CEDはモデルの前半20層を「Causal Encoder」、後半20層を「Decoder」と定義します。プロンプトを読み込むプレフィル段階では、入力トークンは前半のEncoderのみを通過し、そこで生成された最終隠し状態（Hidden State）から各Decoder層のKey/Value（KV）を直接射影します。これにより、プロンプト読み込み時の計算量を従来の約半分に削減し、アクティブパラメータ8Bという軽量動作を実現しました。

Compressed Sparse Attention 2（CSA2）による層間KVキャッシュ再利用

従来のアテンション機構では、レイヤーごとに独立した巨額のKVキャッシュを保持・読み出しする必要がありました。これに対し「CSA2」は、トークン方向の圧縮だけでなく、モデルの「深さ（レイヤー方向）」でもKV状態を再利用する技術です。

CSA2は各レイヤーを「Full mode」「Reindex mode」「Reuse mode」の3つに分類して処理します。Full mode層で構築したグローバルメモリを、後続のReuse mode層で一切再計算せずにそのまま参照します。思考の観念が変わるポイントでのみReindex mode層が新たな検索インデックスを作り直します。この階層構造により、精度を落とすことなくメモリ帯域の負荷を大幅に削減しています。

SWA Bounded Replayと永続KVキャッシュの大幅削減

直近のトークン（128トークン）に局所集中するSliding Window Attention（SWA）は、層を重ねるごとに依存関係が複雑化し、長文脈セッションの保持においてストレージ容量を圧迫していました。

DeepSeek-V4.1-Flashは「SWA Bounded Replay」技術を開発しました。各デコーダ層で過去128トークンのみを直接リプレイ再生してローカル状態を即座に再構築します。これにより、SWAのKVキャッシュをSSDなどの永続ストレージに保存する必要が完全になくなりました。結果として、1トークンあたりの永続KVキャッシュサイズはわずか890バイトに収まり、前世代比で75%のHBM節約と87.5%のSSD容量削減を達成しました。

196Bパラメータを追加する記憶モジュール「Engram」と「Single-Pass mHC」

本モデルには、552BのMoE本体に加え、1960億パラメータ規模の条件付き記憶モジュール「Engram」が統合されています。Engramはハッシュテーブルに基づくルックアップ方式で動作するため、パラメータ容量を増やしても1トークンあたりの計算量（FLOPs）はほぼ増えません。

また、残差ストリーム（Residual Stream）へのアクセス負荷を軽減する「Single-Pass mHC（Manifold-Constrained Hyper-Connections）」を実装しました。従来の重複アクセスを解消し、カーネル実行時のメモリトラフィックを従来の約半分に削減しています。

3×3 Pixel Unshuffleによるネイティブ多峰性（マルチモーダル）対応

視覚情報の処理において、DeepSeekは独自開発の「DeepSeek-ViT」をスクラッチから学習させて直接統合しました。外部アダプタを後付けする従来手法とは異なります。

入力画像は「3×3 Pixel Unshuffle」処理によって空間的な特徴量をチャネル方向に折りたたみ、ビジョントークン数を9分の1に圧縮します。1344×1344の高解像度画像を入力した場合でも、言語モデル側のコンテキストを圧迫することなく迅速な画像理解を可能にしました。

1から100まで段階調整可能な思考量制御「Reasoning Effort」

推論機能（Reasoning）の制御方式も刷新されました。従来の「High」「Max」といった離散的なモード指定ではなく、1から100までの連続値で「Reasoning Effort」を設定できます。

低設定では強いトークンペナルティが課され即座に回答を出力します。高設定では十分な計算コストをかけて思考プロセスを展開します。タスクの難易度や要求レスポンス時間に応じたきめ細やかなコスト最適化が可能です。