要約版:専門用語を控えて説明しています
何が公開されたか
AI生成の画像も含めて、虐待の疑いがある画像に点数をつけます。審査する人は、点数をもとに確認の順番を決められます。
OpenAIの試算では、既存の保護策より確認する画像が48%減り、見つかる虐待画像はほぼ同じ数でした。
ChatGPTの利用者への影響
ChatGPTでは、虐待コンテンツを探そうとする行為に警告が出ます。会話は削除され、ChatGPTは24時間使えなくなります。繰り返すと、利用の制限が長くなり、アカウント閉鎖や通報につながることがあります。
開発者や捜査機関への支援
アプリ開発者向けの手引きも公開されました。児童保護を担う捜査部門には、AIを使った調査ツールと研修が提供されます。
一般のChatGPT利用者が、今回の分類器のために手続きをする必要はありません。対象は、審査を通った児童保護団体や、画像を扱うサービスの運営団体です。日本での提供範囲はまだ発表されていません。ChatGPTとOpenAI APIそのものは日本で使えます(当サイトの確認:11/3)。
新しい分類器は、画像の中の視覚的な特徴から、児童性的虐待コンテンツ(CSAM)の疑いを見つけます。AIが作った画像も対象です。審査担当者に点数を返すので、どの画像から確認するかを決める助けになります。
画像:OpenAI(公式発表)審査済みの団体にAPIで無料提供
OpenAIの公式ブログによると、分類器は審査を通った団体にOpenAI APIで無料提供されます。規模の小さなチームも想定されています。利用を望む団体は、申込フォームから申請します。
開発には、児童の搾取を通報する窓口「CyberTipline」を運営する非営利団体NCMEC(全米行方不明・被搾取児童センター)が協力しました。提供の共有には、業界団体のTech CoalitionとROOSTが関わっています。
OpenAIはTech Coalitionの情報共有の取り組み「Lantern」にも最近参加しました。ほかのプラットフォームと、児童の性的搾取に関する信号をやり取りします。Thorn(児童保護の非営利団体)のSaferなど、他社のツールも支持するとしています。
確認件数は48%減、虐待画像の割合は約2倍
OpenAIは、利用者がアップロードした画像で、新しい分類器と現行の保護策を比べました。
- 検出される虐待画像はほぼ同数のまま、確認対象に挙がる画像は48%少なくなる試算でした。
- 分類器が挙げた画像に虐待が含まれる割合は、約2倍でした。
早くから使った3社の結果も公開されています。
- fal:人が確認した本番の画像で、高い確信度の検出の72%が新種のCSAMと確認されました。
- invideo AI:検出された事例の4件に1件が、アカウントの停止につながりました。
- SafetyKit:子どもを性的に描いた絵やアニメーションでは、90%を検出しました。
数字は評価条件つきの結果です。精度の詳細は、モデルカード(性能や限界の説明書)で公開されています。
ChatGPTは警告を出し、24時間止める
OpenAIはすでにCSAMを禁止し、要求を断るよう学習させています。今回は、ChatGPTに警告表示を加えました。虐待コンテンツを探す試みを止めて、結果を説明し、行動をやめるための支援先を示します。
警告では、AIが作った素材でも子どもの性的な描写は害になると明示します。あわせて、該当の会話を削除し、ChatGPTの利用を24時間止めます。繰り返すと制限が長くなり、最終的にアカウント閉鎖や当局への通報もあります。
設計にはProtect Childrenやルーシー・フェイスフル財団などの助言が入りました。抑止メッセージの試行は、タスマニア大学のJoel Scanlan氏が独立に評価しています。
判断ガイド団体として申請するか迷ったときは1つの迷いに、状況ごとのおすすめと理由開く閉じる
判断ガイド
団体として申請するか迷ったときは
状況ごとのおすすめと理由です。どれを選ぶかは、ご自身の状況で決めてください。
画像を扱う団体は、分類器を申請すべき?
- 状況
- 画像を投稿できるサービスを運営している
- おすすめ
- 検討する価値がある
- 理由
- 申請すれば無料でAPIを使え、確認対象を減らせる可能性があります。ただOpenAIの評価条件での結果で、自社の画像に同じ効果があるとは限りません。
- 出どころ
- 出典・openai.com
不安Q&A
AI画像は対象?通報はどこ?
QAIで作られた画像も、検出の対象になるの?▾
新しい分類器は、AIが作った画像も含めてCSAMの疑いを見つけます。AI生成かどうかを示す専用の信号を持つ、広く使える分類器としては初めてだと説明されています。
出典・openai.com今できること画像を投稿できるサービスなら、AI生成画像も含めて通報の流れを見直す。手引きをCSAM guidanceで確認する
Qこの検出ツールは誰が使えるの?個人でも申請できる?▾
分類器は審査を通った組織に、OpenAI APIで無料提供されます。小さなチームを含む組織が対象で、申請は申込フォームから行うと書かれています。
出典・openai.com今できること利用を望む団体は、申込フォームから分類器へのアクセスを申請する。審査を通る必要がある
QChatGPTで子どもの性的な内容を探したらどうなる?▾
警告が表示され、該当の会話は削除され、24時間ChatGPTを使えなくなります。繰り返すと制限が長くなり、アカウントの閉鎖や当局への通報もあり得ます。
出典・openai.com今できること子どもの性的な内容を求める依頼はしない。困っている場合は、警告で案内される支援先に相談する
Q見つけた疑わしい画像は、どこに通報すればいい?▾
児童の搾取を通報する窓口は、NCMECが運営するCyberTiplineです。オンラインの児童搾取に関する通報を集める中心の窓口だと説明されています。
出典・openai.com今できること疑わしい画像は、NCMECが運営するCyberTiplineに通報する。NCMECのサイトで窓口を確認する
QOpenAIのCSAM分類器は、自分の会社でも申し込めますか?▾
審査を通った団体が対象で、申込フォームから申請します。
開発者向けの手引きと、捜査部門への支援
OpenAIは、開発者向けにCSAM対応の手引きを公開しました。Tech Coalition、Thorn、NCMEC、Internet Watch Foundationの意見を入れています。ルールの作り方、利用者からの通報手段、検出ツール、疑わしい投稿の確認と通報の流れを扱います。
手引きは、検出に使う方法も整理しています。既知の画像を照合する知覚ハッシュ(画像の特徴から作る指紋)と、未知の画像を見つける分類器です(OpenAI公式「CSAM guidance」、11/17確認)。
利用者が違反した際に、開発者が個人を特定しやすくする「安全識別子」にも触れています。審査担当者を守る支援の考え方も載っています。
Moderation API(不適切な内容を判定するAPI)は、無料で使えます。ただしCSAMの疑いのある画像を送ってはいけません。承認された団体は、代わりにこの分類器で確認します(OpenAI公式「Moderation」、11/17確認)。
OpenAIはAnthropic、Googleと共同で、AIの利用者が被害を打ち明けたときの対応指針もTech Coalitionから公開しています。この手引きの公開後、児童保護ツールを使う開発者や、NCMECへの通報登録が増えたとしています。
捜査部門向けには、AIを使った調査ツールと研修が用意されます。最初のツールは、長いチャット記録や法的手続きで得た資料を読み解き、つながりや時系列を整理します。結果には、元の資料への参照がつきます。利用は各機関の承認と、プログラムの要件しだいです。
サイソクの見方:画像を受け付けるサービスの点検に使える
ユーザーが画像を投稿できるサービスを運営しているなら、公開された手引きは、自社の体制を見直す材料になります。分類器は審査済みの団体向けで、申請は申込フォームからです。
確認件数が48%減るという数字は、審査担当者の負担を考えるうえで目安になります。ただし、これはOpenAIの評価条件での結果で、自社の画像にそのまま当てはまるとは限りません。
画像を扱わない一般の利用者は、ChatGPTの警告表示のルールを知っておけば足ります。