何が発表されたのか
中国のAI研究機関であるDeepSeekは、長大な文書コンテキストを画像として変換し、視覚トークンとして高効率に圧縮する技術「DeepSeek-OCR（Contexts Optical Compression）」を研究論文およびオープンソースリポジトリとして公開しました。本発表は、学術的な研究成果の提示にとどまらず、GitHub上でコードとモデル構造が一般公開された研究開発段階の成果物です。
大規模言語モデル（LLM）では、入力されるテキスト量が増加するにつれてトークン数が膨らみ、計算資源の消費量と金銭的コストが二次関数的に増大します。DeepSeekの研究チームは、人間が古い記憶の細部を適度に忘却しながら要点を保持する仕組みに着目しました。テキストデータを一度画像として描画し、それをビジョンエンコーダーで少数の視覚トークンへ圧縮した後にデコーダーで復元する「光学的コンテキスト圧縮」の枠組みを提案しています。
本技術の核となるのは、単なる文字認識（OCR）エンジンの構築ではなく、文書全体を極小のトークン量で表現してモデルのメモリ負荷を下げるアプローチです。既存のTransformerモデルが直面していた長文脈処理の物理的限界を、画像圧縮の概念を応用して突破することを狙っています。
発表された機能・アップデートの全容
光学マッピングによるテキストの画像化とトークン圧縮
動画内で解説された最初の機構は、テキストデータを光学情報へと変換する処理工程です。従来のLLMでは、長大な書籍や学術論文を入力する際、すべての文字がテキストトークンへと分解されます。100万トークンを超える入力では、モデルの内部メモリが飽和状態に達し、推論コストが跳ね上がります。
DeepSeek-OCRは、この文書データを一度視覚的なページ画像としてレンダリングします。画像化されたページはビジョンエンコーダーへ送られ、ごく少数の「視覚トークン（Vision tokens）」へと凝縮されます。動画の解説図では、JPEG画像が不可逆圧縮によってデータサイズを劇的に落とす挙動と対比されています。従来のJPEGがピクセル単位の平滑化を行うのに対し、DeepSeekの方式はトークン単位で学習されたニューラルネットワークによる圧縮を実行します。この処理により、元のテキストトークン量と比較して約90パーセントのトークン削減、すなわち10倍のデータ圧縮を実現します。
Foxベンチマークで実証された高精度な文字復元能力
動画では、圧縮された視覚トークンから元の文章をどの程度正確に復元できるかを示す検証データが提示されました。評価には「Foxベンチマーク」が使用されています。1ページあたり600から700トークン存在する文書を、わずか64個の視覚トークンのみを用いて処理する実験が行われました。
グラフに示された測定結果によると、10.5倍の圧縮率を適用した場合でも、文字の再現精度（Precision）は96.5パーセントを記録しました。10倍以上の情報圧縮を行いながら、9割以上のテキスト情報を正確に保持できる計算になります。さらに研究チームは圧縮率を限界まで引き上げる実験も実施しました。圧縮率を11.8倍に設定した場合は93.8パーセント、13.2倍では83.8パーセント、15.1倍では85.8パーセント、16.5倍では79.3パーセント、17.7倍では76.3パーセントと推移します。極限となる約20倍（19.7倍）の圧縮率に達した段階で、再現精度は59.1パーセントまで低下しました。極端な圧縮を施しても約6割の文字情報を保持できる点は、従来の圧縮技術の常識を覆す挙動として紹介されています。
SAMとCLIPを組み合わせた2段階ビジョンエンコーダー構造
DeepSeek-OCRが高い圧縮効率と読み取り精度を両立させている背景には、独自のエンコーダー設計が存在します。動画内では「DeepEncoder」と呼ばれるアーキテクチャの内部ブロック図が詳細に図解されました。
処理の流れは以下の通りです。
- 入力画像は「m × 16 × 16」のパッチ構造に分割されます。
- 分割されたパッチは、8000万パラメータ（80M）規模のSegment Anything Model（SAM）派生モデル「ViTDet」に入力され、局所的な局所ウィンドウアテンション（local attention）を受けます。
- 出力された特徴量は、16倍の畳み込み層（Conv 16x）によって空間方向にダウンサンプリングされます。
- ダウンサンプリングされたトークンは、大域的な視覚処理を担うCLIP層へと送られ、大域アテンション（global attention）が適用されます。
- 最終的に生成されたコンパクトな視覚トークンが、言語モデルである「DeepSeek-3B」デコーダーへと渡されます。
画面の注記では、ピクセル全体を均一に精査するのではなく、局所特徴を高速にスキミングした後に大域的な文脈を統合する仕組みであることが強調されています。高解像度の文書画像をそのまま処理すると計算量が爆発しますが、局所畳み込みと大域アテンションを分離することで、計算資源の消費を抑えながら微細な文字構造を捉え続けることが可能になりました。
単一のNVIDIA A100で日量20万ページを処理する合成データ生成
本技術の用途は、既存文書の要約や検索にとどまりません。動画では、LLMおよび視覚言語モデル（VLM）向けの高品質な事前学習データを高速に生成するパイプラインとしての能力が強調されました。
画面上のアニメーションでは、単一基の「NVIDIA A100 GPU」を用いたスループット測定値が示されています。処理能力を示すカウンターは、1日あたり10,562ページから急速にカウントアップし、110,010ページ、174,407ページ、197,277ページを経て、最終的に「200,000+ pages per day」に達しました。1台のサーバー用GPUで1日に20万ページ以上のドキュメントを処理できる処理速度は、大規模なコーパス構築において極めて強力な武器となります。手書きのメモや複雑なレイアウトを含む膨大な紙媒体・PDF資産を、低コストかつ短期間でAIモデルの学習データセットへと変換できる道を開きます。
極限圧縮時における「言語モデルの補完」という技術的限界
動画の終盤では、本技術が内包する学術的な限界点についても客観的な検証が行われました。動画内で引用された後続研究の論文「Visual Merit or Linguistic Crutch? A Close Look at DeepSeek-OCR」の抜粋文が画面に表示されています。
その指摘によると、視覚トークンの数が極端に制限された超高圧縮環境下において、デコーダーは純粋な視覚的証拠のみに基づいて文字を読み取っているわけではありません。デコーダー自身が持つ言語モデルとしての事前知識（Language priors）を活用し、文脈から欠落した単語を「推測して穴埋め（fill in the gaps）」している実態が明らかになりました。動画内では、視覚的に判読不能なレベルまでモザイク処理された文字列に対し、前後の文脈からもっともらしい単語を自動補完するデモ画面が描かれています。これは人間が不鮮明な文字を前後の文脈から推測して読む行為に似ていますが、事実関係の正確性が要求される法的文書や数値データにおいては、幻覚（ハルシネーション）を引き起こす潜在的なリスクを孕んでいます。
