本ページはプロモーションを含みます
OpenAIは研究用AI処理を一括で止める「Control Room」を導入し、停止の指示から最大35秒で出力を止めます
画像：OpenAI（公式発表より）
なるほど
要約版：専門用語を控えて説明しています
AIの学習や評価の作業には、それぞれ番号（job_id）が付きます。AIが文字を作り出すたびに、Control Roomに許可を確認します。止めると決めた作業は、許可が出なくなります。
研究者が書くプログラムは頻繁に変わります。そこで、あまり変わらない「AIを動かす部分」に止める機能を置いています。
Control Room自体が止まったり、誰かに無効にされたりした場合は、すべてのリクエストを拒否します。この設計は、最先端モデルの研究にはすでに適用されています。残りの研究作業にも、数日のうちに広げる予定です。
停止までの35秒は、許可の確認を一時的に覚えておく仕組みが原因です。OpenAIは、これをゼロにする作業を進めています。
Control Roomは、OpenAI社内の研究基盤で動く安全装置です。
Control Roomは、AIモデルを動かす研究用の処理を一括で追跡し、問題があれば止める中央の仕組みです。OpenAIの公式ブログによると、すでに研究基盤全体に導入されています。
OpenAIは、モデルが高性能になるほど安全面やセキュリティ面のリスクも大きくなると説明しています。そのため、問題を検知して、すぐ止められる体制が重要になるとしています。
Control Roomが対象にするのは、研究用の推論（学習済みのAIが答えを出す処理）です。モデルの学習や評価のための、エージェント型のサンプリング（AIが自分で手順を進めて出力を集めること）やデータ処理も含みます。
同社のミスアライメント（AIが意図とずれた動きをすること）の監視システムと連携します。停止を決めてから、モデルの出力が止まるまでの最大時間は35秒です。
一方、外部に提供するモデルの運用基盤は、もともと一元化されています。モデルの提供を素早く止める運用の体制もすでにある、と同社は説明しています。
Control Roomは、次の3つをつなぎます。
仕組みは次のとおりです。
OpenAIは、エージェント型の推論を行う研究作業のすべてに、承認済みのセーフティケース（安全性の根拠をまとめた文書）を紐づけるよう求めています。
最先端の強化学習ジョブは、すべてモニターつきで動いています。モニターとは、学習中のモデルの動きを調べ、問題があれば警告する別のモデルです。
OpenAIによると、最近のDNS関連のインシデントも、モニターが見つけました。異常の内容や深刻さに応じて、モニターはジョブの停止を決められます。その場合、job_idを付けた停止の指示をControl Roomに送ります。
不安Q&A
停止を決めてから、モデルの出力が止まるまでの最大時間は35秒と説明されています。35秒をゼロにする時期は、まだ発表されていません。
出典・openai.com今できること自社でAIを動かすなら、停止を決めてから出力が止まるまでの時間を、社内の運用ルールと照らして確認する。
停止の仕組みは、研究者の作業コードが壊れていても機能するよう推論の層に置かれています。Control Roomが止まった場合は、すべての推論リクエストが拒否されます。
出典・openai.com今できること自社のAI運用では、停止の仕組みを作業コードではなく、モデルへの推論を受ける層に置けるか見直す。
停止されたジョブのjob_idを付けたリクエストは、どのエンジンのどのモデルからでも拒否され、出力が止まると説明されています。
出典・openai.com今できること自社の作業にも作業ごとの識別番号を付け、停止の指示が全てのリクエストに届く設計かを確かめる。
研究者が書く作業のコードは頻繁に変わります。OpenAIは、重要な安全機能を置く場所として向かないと説明しています。
そこで、停止の仕組みは推論の層に入れました。OpenAIの研究全体で使われる推論のコードの経路は少なく、運用も一元化されています。このため、すべての推論リクエストが確実に許可の確認を受ける、と同社は説明しています。
さらに、Control Roomを外した推論エンジンを、誤って、あるいは悪意で動かしていないか、継続的に調べています。調査にはエージェントとプログラムの両方を使います。
このシステムは「フェイルクローズ」です。システムエラーや改ざんなどで、Control Roomのサービスが止まった場合は、すべての推論リクエストを拒否します。通常運転に戻るまで、拒否が続きます。
フェイルクローズは、すべてのフロンティアモデルの研究作業にすでに展開されています。残りの研究作業へは、今後数日で広げるとしています。
同じ話題の記事提供前OpenAI、背景
モデルの性能が高まるほど、安全面とセキュリティ面のリスクが大きくなるため、問題を早く見つけて素早く止められる体制が必要になるとOpenAIは説明しています。
出典・openai.comすぐにできること
Control Roomの仕組みを、公式ページのjob_idの流れで読み直す
自社のAI運用ルールに、エージェント型の作業ごとのセーフティケースの紐づけがあるか確かめる
一般向けの機能ではなく社内の安全基盤の紹介です。AI企業の安全対策の水準を知る材料として読むとよいでしょう。
11/10時点の判定。発表内容をもとにAIで判定しています。最新の提供状況は公式情報をご確認ください。
前日に出た記事から、給付・税・料金・値上げなど暮らしとお金に関わる話を中心に選び、1本2行でまとめてメールで届けます。無料・いつでも解除できます。
主要企業の大きな発表だけ、1日4回まで。夜22時〜朝7時は鳴らしません。いつでも解除できます。
本記事は公式発表の文章をもとにAIが要約・解説して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元記事を読む制作方法と事実確認の手順は編集方針をご覧ください。誤りのご指摘はお問い合わせから受け付けています。
