強化学習はLLMの潜在能力を「鋭鋭化」するプロセス、事前学習との共同スケーリング則が判明

何が発表されたのか

Hugging Faceの研究チームは、大規模言語モデル（LLM）の「事前学習（Pre-training）」と「事後学習（Post-training）」、特に強化学習（RL）の間の定量的な関係性を解明した研究論文「Understanding Reasoning from Pretraining to Post-Training（事前学習から事後学習における推論の理解）」についてディスカッションを行いました。本論文は、ニューヨーク大学やコロンビア大学などの研究者らによって2024年7月に発表されたものです（編集部注：arXiv IDは2407.16097）。

本研究は、これまで独立して議論されることが多かった「事前学習での計算資源の配分」と「強化学習での性能向上」の間に、明確な「共同スケーリング則（Joint Scaling Law）」が存在することを世界で初めて定式化しました。この研究は、LLMの推論能力を向上させるための強化学習が、モデルにどのような変化をもたらしているのかを科学的に解明した、極めて重要なマイルストーンです。

発表された機能・アップデートの全容

1. チェスをテストベッドとした「事前学習・SFT・RL」の統合パイプライン

研究チームは、モデルの推論プロセスを厳密に管理・検証するために、チェス（Chess）をテストベッドとして採用しました。チェスはルールが完全に定義されており、任意の盤面（状態）において「どの手が最善か」を、世界最強クラスのオープンソース・チェス思考エンジン「Stockfish」を用いて客観的に評価できます。これにより、モデルの出力に対する「検証可能な報酬（Verifiable Reward）」を完璧に設計することが可能になりました。

実験では、2000万（20M）から6億8000万（680M）パラメータまでの4つの異なるモデルサイズを用意し、以下の3段階で学習を行いました。

• 事前学習：Lichess（オンラインチェスサーバー）から収集した、人間の対局データ（54億トークン）を用いて、次の一手を予測する自己回帰的な学習を実施。
• SFT（教師あり微調整）：事前学習済みモデルから、特定の盤面における指し手の軌跡（思考プロセスに相当）を複数サンプリングし、その中から最良の軌跡を「合成推論トレース（Synthetic Reasoning Traces）」として選択してファインチューニングを実施。
• RL（強化学習）：SFT後のモデルを初期ポリシーとし、Stockfishの評価を報酬シグナルとして、ポリシーをさらに最適化。

2. 強化学習（RL）の本質は潜在能力の「鋭鋭化（Sharpening）」であることの証明

本研究の最も衝撃的な発見は、「強化学習（RL）はモデルに新しい推論能力を授けるのではなく、事前学習フェーズですでに潜在的に獲得していた能力を引き出し、強化するプロセスに過ぎない」という事実を定量的に示した点です。

研究チームは、モデルがk回試行して1回でも正解に達する確率を示す「Pass@k」という指標を用いました。実験の結果、RLを適用すると、1回の試行で正解する確率である「Pass@1」は劇的に向上する一方で、16回試行時の正解率である「Pass@16」は、RLの前後でほとんど変化しないことが明らかになりました。これは、事前学習後のモデルが「潜在的には正しい答えを出力できる状態（Pass@16が高い状態）」にあれば、RLによってその出力確率を最上位に引き上げる（Pass@1を高める）ことができるものの、事前学習段階で全く解けなかった問題（Pass@16が0に近い状態）を、RLだけでゼロから解けるようにはならないことを意味しています。

3. 事前学習の検証ロスとRL後性能の「共同スケーリング則」の定式化

研究チームは、事前学習時の検証ロス（Validation Loss）と、その後のRL適用後のタスク達成率（Pass@1）の間に、極めて強い相関関係が存在することを発見しました。相関係数は-0.93から-0.99に達しており、事前学習のロスが低ければ低いほど、RLを適用した際の下流タスクの性能向上幅が指数関数的に大きくなることが示されました。

この関係性は「Joint Pretraining-RL Scaling Law」として数式化され、事前学習のロスから、将来的にRLを行った際の性能を極めて正確に予測することが可能になりました。これは、高性能な推論モデルを作るためには、事後学習のテクニックだけでなく、事前学習の「基礎体力（ロスの低さ）」を極限まで高めることが不可欠であるという、強いメッセージとなっています。

4. Chinchillaスケーリング則の再定義：RLを見据えたリソース配分

従来のLLM開発では、事前学習のロスを最小化するために「Chinchilla則」（パラメータ数Nに対して、およそ20倍のトークン数Dを学習させるのが最適とする法則）が広く使われてきました。しかし、この法則は「事後学習（RL）を行うこと」を前提に設計されていません。

本研究が提示した「IsoFLOPカーブ（同一計算予算における性能曲線）」によると、最終的にRLを適用して下流タスクを解かせる場合、限られた総計算予算（Total Compute Budget）のもとでは、Chinchilla則よりも「小さなモデルサイズを選択し、そのモデルをより多くのトークンで過剰に事前学習（オーバートレーニング）する」方が、最終的なRL後の性能（Pass@1）が高くなることが判明しました。これは、実務におけるインフラ投資やモデル開発の効率化において、極めて大きなインパクトを持つ発見です。

5. 数学ドメイン（OLMoモデル）における普遍性の実証

チェスという限定的なゲーム環境で得られたスケーリング則が、自然言語による複雑な人間的推論タスクにも適用可能であるかを検証するため、研究チームは数学ドメインでの追加実験を行いました。

実験では、オープンソースの10億（1B）パラメータLLM「OLMo」のチェックポイントを使用し、数学データセット「NuminaMath-CoT」を用いて追加の事前学習（ミッドトレーニング）と強化学習を適用しました。その結果、チェスでの実験と全く同様に、事前学習の評価ロスとRL後の数学パズル解決率の間に、美しい共同スケーリング則（Figure 6）が成立することが確認されました。これにより、本研究の知見が特定のタスクに依存しない、LLMの推論能力全般に適用可能な普遍的な物理法則であることが証明されました。