BioBasicsBenchは、研究室で日常的に行われる湿式実験（試薬や生物のサンプルを容器の中で扱う実験）のデータを、AIがどこまで正しく読めるかを測る評価です。
OpenAIの公式ブログによると、酵素の設計を手がけるバイオ企業のLigoと一緒に作られました。
研究者が扱う実験データには、失敗した結果や判別しにくい写真、食い違う観察が含まれます。既存の評価は論文向けに選ばれた図や画像が中心で、こうした曖昧さを十分に測れていなかったと同社は説明しています。
たとえば、写真の読み違いや対照実験（比較の基準になる実験）の見落としは、研究者を誤った結論に導きます。その結果、無駄な実験に時間を使うおそれがあります。今回の評価は、AIがそうした誤りを避けられるかを見ています。
画像：OpenAI（公式発表）100課題、写真から機器の出力まで読ませる
課題は100個で、5つの分野に分かれています。分野は次のとおりです。
- タンパク質の手法
- イメージングとフローサイトメトリー（細胞を1つずつ光で測る装置）
- 定量とアッセイ（物質の量や反応を測る検査）
- 核酸の手法
- 分子クローニング（遺伝子を増やして取り出す作業）
入力には、ゲルの写真、コロニーができたシャーレの写真、顕微鏡画像、配列のデータ、機器の画面、作業の動画などが使われます。1つの課題に複数の種類のデータが含まれることもあります。
課題の難しさには幅があります。ゲルの中のDNAの分子量を読むような簡単なものもあれば、細かい測定データを分析するものもあります。どちらも、普段の研究で確実に終えるべき作業として作られています。
採点は、課題ごとに決められた採点基準（ルーブリック）で行われます。結論、数値、根拠、データ不足を認める判断のどれが合っていたかを、項目ごとに点数化します。結論は合っていても分析が不十分なら、その分だけ点が下がります。
課題は、Ligoの別の科学者による内部確認、博士号を持つ外部の研究者による確認、最後の内部確認を経ています。作った人とは別の目で確かめる仕組みです。
前のGPT-5.6 Solより大きく上がった点
全体の成績は、推論（AIが考えてから答える処理）の量を最も高い設定「xhigh」にして比べられています。平均得点は、付けられる点数に対する割合で示されています。主な結果は次のとおりです。
- GPT-6 Astra：66.7%（95%信頼区間 60.3〜73.1%）
- GPT-6.1 Sol：62.0%
- GPT-5.6 Sol：43.8%
- GPT-6 Luna：38.3%
- GPT-5.5：35.4%
- GPT-5.4：33.2%
- GPT-5.2：31.2%
調べたのは7つのモデル、37の設定です。各設定では100課題を5回ずつ解かせました。合計は1万8,500件の結果です。
Astraの信頼区間は、2位のGPT-6.1 Solの62.0%と重なります。編集部の見立てでは、1位と2位の差は大きいとは言い切れません。
一方で、1課題あたりの出力量は次のとおりです。
- Astra：4,704トークン（AIが扱う文字の単位）
- GPT-5.6 Sol：9,099トークン
Astraは少ない量で高い点数を取りました。OpenAIは、写真や動画など複数の形式をまとめて扱う力（マルチモーダル）が伸びたことが大事だと説明しています。
具体例は3つあります。1つ目は蛍光色素の判定です。前のモデルは、死んだ細胞を染める色素の光の強さだけで細胞が死んだと判断しました。しかし、検出器は別の色素の光も拾う可能性があります。
Astraは、2つの色素の光が525〜540ナノメートルの範囲で重なることに気づきました。そのうえで、対照実験を追加するよう求めました。重なりがどれくらい混ざるかは、まだ測られていないとされています。
2つ目はシャーレの写真です。前のモデルは、陰性対照（結果が出ないはずの比較用のシャーレ）にコロニー（1つの細胞から増えた集落）が見えないことを根拠にしました。
Astraは、シャーレの縁に「LB Kan50」と書かれていることに気づきました。これはカナマイシンという別の抗生物質の表示で、実験に使ったアンピシリンとは違います。そのため、信頼できる対照ではないと判断しました。
3つ目は、顕微鏡の連続画像で細胞が見えたり消えたりする課題です。前のモデルは細胞が消えた理由を生物学的に探しましたが、Astraは深さを変えながら撮った画像の列（z-stack）だと見抜きました。
一方で、Astraも誤りを残しています。ある課題では、PCR（DNAを増やす操作）の結果から、大きい断片が成功の印だと思い込みました。その結果、次のような誤りになりました。
- Astraが選んだレーン：4、6、7、8番
- 基準の解答：5、9、10番
OpenAIは、高い点数が研究室で信頼できる判断ができることを意味するわけではない、と書いています。
