最新グンゼスポーツの情報流出のおそれ、最大13万9,394件
速報AI・テクノロジー

児童性的虐待コンテンツの検出ツール、審査済み団体にAPIで無料提供 OpenAIが公開

OpenAI 公式発表公開 読了 4分

CSAMを検出する新しい画像分類器を、審査済み団体にOpenAI APIで無料提供する

  • 既存の保護策と比べ、確認対象は48%減りながら、見つかる虐待画像はほぼ同数と試算
  • ChatGPTは警告を出し、会話を削除して24時間利用を止める。繰り返すと閉鎖や通報も

すぐにできること

  1. 画像を投稿できるサービスなら、CSAM guidanceで自社の通報の流れを確認する
  2. 利用を望む団体は、申込フォームから分類器へのアクセスを申請する
  3. 分類器の評価条件と限界は、モデルカードで確認する
手順と公式の窓口を見る
児童性的虐待コンテンツの検出ツール、審査済み団体にAPIで無料提供 OpenAIが公開

画像:OpenAI(公式発表より)

なるほど

手引きは、ほかのツールと組み合わせて使える

公式ページで確かめた、知っておくと役立つこと

  • 開発者向けの手引きは、新しい画像分類器やModeration API、ROOSTのCoop、ThornのSaferと並べて使えるとされています。
    出典・openai.com

要約版:専門用語を控えて説明しています

何が公開されたか

AI生成の画像も含めて、虐待の疑いがある画像に点数をつけます。審査する人は、点数をもとに確認の順番を決められます。

OpenAIの試算では、既存の保護策より確認する画像が48%減り、見つかる虐待画像はほぼ同じ数でした。

ChatGPTの利用者への影響

ChatGPTでは、虐待コンテンツを探そうとする行為に警告が出ます。会話は削除され、ChatGPTは24時間使えなくなります。繰り返すと、利用の制限が長くなり、アカウント閉鎖や通報につながることがあります。

開発者や捜査機関への支援

アプリ開発者向けの手引きも公開されました。児童保護を担う捜査部門には、AIを使った調査ツールと研修が提供されます。

一般のChatGPT利用者が、今回の分類器のために手続きをする必要はありません。対象は、審査を通った児童保護団体や、画像を扱うサービスの運営団体です。日本での提供範囲はまだ発表されていません。ChatGPTとOpenAI APIそのものは日本で使えます(当サイトの確認:11/3)。

新しい分類器は、画像の中の視覚的な特徴から、児童性的虐待コンテンツ(CSAM)の疑いを見つけます。AIが作った画像も対象です。審査担当者に点数を返すので、どの画像から確認するかを決める助けになります。

OpenAIの発表の図(児童性的虐待コンテンツの検出ツール、審査済み団体にAPIで無料提供 OpenAIが公開)
画像:OpenAI(公式発表)

審査済みの団体にAPIで無料提供

OpenAIの公式ブログによると、分類器は審査を通った団体にOpenAI APIで無料提供されます。規模の小さなチームも想定されています。利用を望む団体は、申込フォームから申請します。

開発には、児童の搾取を通報する窓口「CyberTipline」を運営する非営利団体NCMEC(全米行方不明・被搾取児童センター)が協力しました。提供の共有には、業界団体のTech CoalitionとROOSTが関わっています。

OpenAIはTech Coalitionの情報共有の取り組み「Lantern」にも最近参加しました。ほかのプラットフォームと、児童の性的搾取に関する信号をやり取りします。Thorn(児童保護の非営利団体)のSaferなど、他社のツールも支持するとしています。

確認件数は48%減、虐待画像の割合は約2倍

OpenAIは、利用者がアップロードした画像で、新しい分類器と現行の保護策を比べました。

  • 検出される虐待画像はほぼ同数のまま、確認対象に挙がる画像は48%少なくなる試算でした。
  • 分類器が挙げた画像に虐待が含まれる割合は、約2倍でした。

早くから使った3社の結果も公開されています。

  • fal:人が確認した本番の画像で、高い確信度の検出の72%が新種のCSAMと確認されました。
  • invideo AI:検出された事例の4件に1件が、アカウントの停止につながりました。
  • SafetyKit:子どもを性的に描いた絵やアニメーションでは、90%を検出しました。

数字は評価条件つきの結果です。精度の詳細は、モデルカード(性能や限界の説明書)で公開されています。

ChatGPTは警告を出し、24時間止める

OpenAIはすでにCSAMを禁止し、要求を断るよう学習させています。今回は、ChatGPTに警告表示を加えました。虐待コンテンツを探す試みを止めて、結果を説明し、行動をやめるための支援先を示します。

警告では、AIが作った素材でも子どもの性的な描写は害になると明示します。あわせて、該当の会話を削除し、ChatGPTの利用を24時間止めます。繰り返すと制限が長くなり、最終的にアカウント閉鎖や当局への通報もあります。

設計にはProtect Childrenやルーシー・フェイスフル財団などの助言が入りました。抑止メッセージの試行は、タスマニア大学のJoel Scanlan氏が独立に評価しています。

判断ガイド団体として申請するか迷ったときは1つの迷いに、状況ごとのおすすめと理由開く

判断ガイド

団体として申請するか迷ったときは

状況ごとのおすすめと理由です。どれを選ぶかは、ご自身の状況で決めてください。

画像を扱う団体は、分類器を申請すべき?

状況
画像を投稿できるサービスを運営している
おすすめ
検討する価値がある
理由
申請すれば無料でAPIを使え、確認対象を減らせる可能性があります。ただOpenAIの評価条件での結果で、自社の画像に同じ効果があるとは限りません。
出どころ
出典・openai.com

不安Q&A

AI画像は対象?通報はどこ?

AIで作られた画像も、検出の対象になるの?

新しい分類器は、AIが作った画像も含めてCSAMの疑いを見つけます。AI生成かどうかを示す専用の信号を持つ、広く使える分類器としては初めてだと説明されています。

出典・openai.com

今できること画像を投稿できるサービスなら、AI生成画像も含めて通報の流れを見直す。手引きをCSAM guidanceで確認する

この検出ツールは誰が使えるの?個人でも申請できる?

分類器は審査を通った組織に、OpenAI APIで無料提供されます。小さなチームを含む組織が対象で、申請は申込フォームから行うと書かれています。

出典・openai.com

今できること利用を望む団体は、申込フォームから分類器へのアクセスを申請する。審査を通る必要がある

ChatGPTで子どもの性的な内容を探したらどうなる?

警告が表示され、該当の会話は削除され、24時間ChatGPTを使えなくなります。繰り返すと制限が長くなり、アカウントの閉鎖や当局への通報もあり得ます。

出典・openai.com

今できること子どもの性的な内容を求める依頼はしない。困っている場合は、警告で案内される支援先に相談する

見つけた疑わしい画像は、どこに通報すればいい?

児童の搾取を通報する窓口は、NCMECが運営するCyberTiplineです。オンラインの児童搾取に関する通報を集める中心の窓口だと説明されています。

出典・openai.com

今できること疑わしい画像は、NCMECが運営するCyberTiplineに通報する。NCMECのサイトで窓口を確認する

OpenAIのCSAM分類器は、自分の会社でも申し込めますか?

審査を通った団体が対象で、申込フォームから申請します。

開発者向けの手引きと、捜査部門への支援

OpenAIは、開発者向けにCSAM対応の手引きを公開しました。Tech Coalition、Thorn、NCMEC、Internet Watch Foundationの意見を入れています。ルールの作り方、利用者からの通報手段、検出ツール、疑わしい投稿の確認と通報の流れを扱います。

手引きは、検出に使う方法も整理しています。既知の画像を照合する知覚ハッシュ(画像の特徴から作る指紋)と、未知の画像を見つける分類器です(OpenAI公式「CSAM guidance」、11/17確認)。

利用者が違反した際に、開発者が個人を特定しやすくする「安全識別子」にも触れています。審査担当者を守る支援の考え方も載っています。

Moderation API(不適切な内容を判定するAPI)は、無料で使えます。ただしCSAMの疑いのある画像を送ってはいけません。承認された団体は、代わりにこの分類器で確認します(OpenAI公式「Moderation」、11/17確認)。

OpenAIはAnthropic、Googleと共同で、AIの利用者が被害を打ち明けたときの対応指針もTech Coalitionから公開しています。この手引きの公開後、児童保護ツールを使う開発者や、NCMECへの通報登録が増えたとしています。

捜査部門向けには、AIを使った調査ツールと研修が用意されます。最初のツールは、長いチャット記録や法的手続きで得た資料を読み解き、つながりや時系列を整理します。結果には、元の資料への参照がつきます。利用は各機関の承認と、プログラムの要件しだいです。

サイソクの見方:画像を受け付けるサービスの点検に使える

ユーザーが画像を投稿できるサービスを運営しているなら、公開された手引きは、自社の体制を見直す材料になります。分類器は審査済みの団体向けで、申請は申込フォームからです。

確認件数が48%減るという数字は、審査担当者の負担を考えるうえで目安になります。ただし、これはOpenAIの評価条件での結果で、自社の画像にそのまま当てはまるとは限りません。

画像を扱わない一般の利用者は、ChatGPTの警告表示のルールを知っておけば足ります。

OpenAIの発表を読む

よく読まれている記事

  1. 進研ゼミのイヤホン84,779個を自主回収
  2. 楽天ブラックフライデー2026は11月19日20時開始
  3. Outlookのメールは消えるのか 障害中に送った・届くはずだった分はどうなる
  4. 児童手当の12月支給日は11〜15日に 主要9市の日付と確かめ方
  5. ニッスイ、家庭用食品の値上げを発表 冷凍食品や缶詰など約2〜25%
なぜ起きた?なぜこの検出ツールが作られた?公式ページが書く原因・背景開く

背景

なぜこの検出ツールが作られた?

AI生成を含む児童性的虐待コンテンツを、審査を通った団体が見つけやすくするため、新しい画像分類器などを公開したと説明されています。オンラインの児童の性的搾取には、多くの組織の協力が必要だとされています。

出典・openai.com
手順と公式窓口上の「すぐにできること」の手順と、困ったときの連絡先SMSやメールの連絡先ではなく、公式の窓口を使ってください開く

すぐにできること

今日やること、画面の場所つき

  1. 1

    画像を投稿できるサービスなら、CSAM guidanceで自社の通報の流れを確認する

    1. 1-1CSAM guidance を開く
    2. 1-2rules と reporting の項目を見る
    3. 1-3疑わしい投稿の確認と通報の流れを読む
    公式ページを開く developers.openai.com
  2. 2

    利用を望む団体は、申込フォームから分類器へのアクセスを申請する

    1. 2-1our intake form を開く
    2. 2-2申請フォームに記入して送信する
    公式ページを開く openai.com
  3. 3

    分類器の評価条件と限界は、モデルカードで確認する

    1. 3-1CSAM classifier model card を開く
    2. 3-2性能や限界の説明を読む
    公式ページを開く deploymentsafety.openai.com

公式窓口

公式の申込フォームと手引きはどこ?

SMSやメールに書かれた連絡先ではなく、ここにある公式の窓口を使ってください。

OpenAI 申込フォーム(CSAM分類器)

利用を望む組織が、分類器へのアクセスをこの申込フォームから申請すると書かれています。

  1. 1Strengthening the fight agains
  2. 2our intake form
辿り方(公式ページの表示の言葉。サイソクが作った図です)
公式ページを開く(openai.com)

OpenAI CSAM guidance(開発者向けの手引き)

ルールの作り方、利用者からの通報手段、検出ツール、疑わしい投稿の確認と通報の流れを扱います。

  1. 1Strengthening the fight agains
  2. 2CSAM guidance
辿り方(公式ページの表示の言葉。サイソクが作った図です)
公式ページを開く(developers.openai.com)

CSAM classifier model card(モデルカード)

分類器の性能や限界を説明する資料です。評価条件つきの結果が載っています。

  1. 1Strengthening the fight agains
  2. 2CSAM classifier model card
辿り方(公式ページの表示の言葉。サイソクが作った図です)
公式ページを開く(deploymentsafety.openai.com)

使う人への影響

影響:一部の人
  • 分類器は審査済みの団体にAPIで無料提供されます。申請は公式の申込フォームからです。

発表内容をもとにした一般的な情報です。導入や契約の判断は、公式情報を確かめたうえでご自身で行ってください。

一部で提供中

サイソクの判定

画像を扱うサービスの運営者は、公式の申込フォームと手引きで、自社の対策の抜けを点検するとよいでしょう。

料金
審査済み団体は無料
無料枠
無料で試せる
主な対象
開発者・運営団体

11/17時点の判定。発表内容をもとにAIで判定しています。最新の提供状況は公式情報をご確認ください。

出典を見る(1件)・確認方法・更新履歴
出典(公式)
OpenAI公式ブログ「Strengthening the fight against online child sexual abuse with new tools and support」
日時
公式発表 サイソク掲載
確認方法
公開前に、本文を出典と自動で照合しています(事実確認 90点/100点、70点未満は非公開)。制作と確認の方法
誤りの報告
お問い合わせから受け付けています。直した記事は訂正履歴に残します。

この記事をシェアする

NEWSLETTER

毎朝7時、暮らしとお金のニュースの要点を5本

前日に出た記事から、給付・税・料金・値上げなど暮らしとお金に関わる話を中心に選び、1本2行でまとめてメールで届けます。無料・いつでも解除できます。

確認メールのリンクを開いた時点で登録完了です。アドレスは配信にだけ使います(プライバシーポリシー)。 配信の内容

大きな速報を、通知ですぐに

主要企業の大きな発表だけ、1日4回まで。夜22時〜朝7時は鳴らしません。いつでも解除できます。

本記事は公式発表の文章をもとにAIが要約・解説して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元記事を読む制作方法と事実確認の手順は編集方針をご覧ください。誤りのご指摘はお問い合わせから受け付けています。