CWE-bench v2は、AIが実在するソフトウェアの弱点を見つけて直せるかを測るテストです。Collinear AIが作ったもので、Hugging Faceの公式ブログで100タスクの公開版が発表されました。
CWE（ソフトウェアの弱点の種類を分類する共通の番号）でいうと、100タスクは91種類の弱点にまたがります。弱点の種類を広く網羅し、よくある型を覚えているだけでは解けないように作ったとしています。
各タスクでは、AIエージェント（自分で手順を進めるAI）に、実在するオープンソースのリポジトリ（公開されているソフトウェアのコード一式）と短い指示文を渡します。目的は、既存の機能を壊さずに、セキュリティ上の弱点を直すことです。
採点はプログラムが自動で行います。同じ修正なら結果は毎回同じになり、誰が実行しても同じ数字が出ます。追加の費用なしで再現できる、というのが発表の立場です。
11モデルを比べた結果、首位はGemini 4 Argonでした。1回目で正解した割合（pass@1）は67.8%、4回の試行で1回でも正解した割合（pass@4）は81.0%です。Claude Opus 5.5は、pass@1が67.3%、pass@4が78.0%でした。首位のすぐ後ろにつけています。
11モデルのうち少なくとも1モデルが解けたタスクは95問でした。問題そのものが解ける作りになっていることを示す数字だと発表されています。一方で、首位のモデルでも全体の19%のタスクは、どの試行でも直せなかったとされています。難しい問題の多くは、まだ解けていないということです。
費用の面では、DeepSeek V4.1 Flash（1017）、Claude Opus 5.5、Gemini 4 Argonが、費用と性能の境目（パレートフロンティア。どちらか一方を良くすると他方を犠牲にする境界線のこと）に並ぶと説明されています。
DeepSeek V4.1 Flashは、1回の試行（rollout）あたり$0.04で57.0%でした。Claude Opus 5.5は、その性能から10ポイント上がって、1回あたり$1.83です。Gemini 4 Argonは、さらに少し上回って$3.92です。1ドルは158.29円（ECB参照レート、11/3）で換算すると、Opusは約290円、Geminiは約620円です（税別の目安。サイソク編集部の計算）。
公開の順位表は2か所にあります。オープンウェイト（モデルの重みを公開したモデル）の順位はデータセットのページで見られます。APIだけで使えるGeminiやClaude、GPTを含む全体の比較は、CWE-bench leaderboard（Hugging Face上の公開アプリ）です。
採点の仕組みと品質チェック
問題ごとに、次の6つを確認したとしています。
- 指示文は、評価のための設定ではなく、現実にありそうな依頼文になっているか
- 採点される動きは、指示文から推測できるか
- 採点は正しい動きを見ており、特定の修正の書き方だけを見ていないか
- 出発点のコードは失敗し、正解の修正は通るか
- 元の機能は、新しい修正のあとも動くか
- 既知の修正（元のプロジェクトの正解パッチ）を丸暗記した答えを、採点で弾けるか
そのうえで、すべてのタスクを人が一つずつ確認しました。オープンソース化もこの品質改善の一環で、タスクへのフィードバックや公開版への貢献を求めています。
非公開のホールドアウトセット（評価用に見せていない問題群）も残し、どのモデルも見たことがない問題での進歩を追うとしています。同じ環境と採点は、防御側のAIを学習させる強化学習の報酬にも使えるとしています。
日本から使うときの料金と条件
データセットは、アクセス条件への同意が必要です（ゲート付き）。Harbor（ベンチマークを実行するためのツール）を使うと、リポジトリを手元に複製せずに、Hugging Faceのデータセットから全体を実行できます。「-k 4」を付けると、1タスクを4回ずつ試し、400回の平均点で結果を出します。費用は、どのモデルを、どのAPIで動かすかで変わります。当サイトの確認では、Claude（API）は日本で使えます（当サイトの確認：11/3）。Gemini アプリも日本で使えます（当サイトの確認：11/3）。ただし、今回のベンチマークで各モデルをどの経路で動かしたかは、まだ発表されていません。結果を公開の順位表に載せたい場合は、モデルのリポジトリに結果ファイルを付けたPR（変更の提案）を出します。非公開の評価を頼むときは、cyber@collinear.aiに連絡します。
