最新金沢駅で買った「金箔羽二重詰合せ」回収 賞味期限12月20日と31日が対象
AI・テクノロジーOpenAI

OpenAIのCSAM画像判定AI、承認組織は無料で利用可 AI生成画像も検出対象

OpenAI 公式発表公開 読了 6分

承認された組織は、OpenAIのCSAM画像分類器を無料で利用でき、申請はフォームから行う

  • AI生成の疑いを示すスコアも出し、既知画像の照合では見逃す新規画像の検出を補う
  • スコアだけでは違法性や報告義務は確定せず、人による確認が前提と明記されている

すぐにできること

  1. 画像投稿を受け付けるサービスの運営者は、OpenAIの申し込みフォーム(openai.com/form/csam-classifier-intake)で条件を確認する
  2. 現在のハッシュ照合が、AI生成画像など新しい画像を拾えるかを自社の運用で点検する
  3. 疑いのある画像を人が確認する担当と、報告の手順が決まっているかを見直す
OpenAIのCSAM画像判定AI、承認組織は無料で利用可 AI生成画像も検出対象

図:サイソクニュース作成

要約版:専門用語を控えて説明しています

誰が使えるのか

一般の利用者が使うものではありません。画像を扱うサービスの運営組織が、申し込みフォームから申請し、承認されると使えます。

判定の位置づけ

AIが出すのは、疑わしさを示す点数(スコア)です。点数だけでは、その画像が違法かどうかは決まりません。報告が必要かどうかも決まりません。

作り方と限界

OpenAIによると、この分類器は米国の「全米行方不明・被搾取児童センター(NCMEC)」の協力を得て作られました。ただし、学習用と評価用のデータに似た画像が混ざる恐れが、完全には消えていません。そのため、評価結果は割り引いて見る必要があります。

OpenAIの「CSAM Image Classifier」は、承認された組織なら無料で使えます。

OpenAIの公式モデルカードによると、この分類器は、児童性的虐待画像(CSAM)の疑いがある画像を見つけるためのものです。モデルカードの冒頭には、虐待や搾取の重い内容を扱うという注意書きがあります。

既知画像の照合では見逃す画像を補う

OpenAIの説明では、既知の画像と一致するかを調べるハッシュ照合だけでは、新しく作られた画像や、AI生成の画像を見逃すことがあります。この分類器は、そうした画像も検出の対象にします。

出力は、疑いの度合いを示すリスクスコアです。プラットフォームは、このスコアを使って、訓練を受けた担当者による確認の順番を決めたり、ほかの安全対策につなげたりします。

OpenAIは、ハッシュ照合、文脈を見る不正検出、人による確認、法的な報告手続きを「補うもの」と位置づけています。スコアだけでは、画像がCSAMだと確定せず、法的な位置づけも決まりません。報告義務があるかどうかも決まりません。

仕組みはCLIPと3層のMLP

構成は、OpenAIの社内版のCLIP画像エンコーダー(画像を数値の列に変える部分)と、3層のMLP(多層パーセプトロン)の組み合わせです。MLPは、その数値の列から、各カテゴリのスコアを出す小さなニューラルネットワークです。

OpenAIは、CSAMのデータでMLPを学習させ、エンコーダーの一部の層をファインチューニング(追加学習)したと説明しています。社内のエンコーダーは、公開されているCLIPと、モデルの深さ、隠れ層の幅、事前学習のデータが異なります。

個別のテストでは、もっと良い成績を出す別の構成もありました。それでも、社内評価で未知のデータへの対応力が高く、処理も速かったCLIP+MLPを選んだといいます。

外部から使える2つのスコアと、まだ出さない3つの信号

APIが返すスコアは、次の2つです。

  • likely-csam:CSAMの疑い
  • likely-csam/gen-ai:AI生成のCSAMの疑い

この2つは排他的ではありません。AI生成のCSAMは、両方で高いスコアになりえます。gen-aiのスコアは、画像の出どころを確かめるものではありません。

さらに、社内では次の3つの信号も出しています。外部には、性能の検証が進むまで公開していません。

  • likely-csam/bestiality:動物との性的行為を含む疑い
  • likely-csam/bondage-sadism:サディズムを含む疑い
  • likely-csam/infant-toddler:乳幼児を含む疑い

OpenAIは、これらを別に採点する理由として、出現の頻度、評価データの量、誤りの出方、確認の緊急度が違うことを挙げています。

医療・教育・家族写真は対象外として学習

OpenAIは、学習のためにCSAMを「子どもが関わる露骨な性的行為の視覚的描写」と定義しました。米国の連邦法の定義と、ほかの法域のより広い定義を含む広さにしたといいます。ただし、特定の国や地域の法に合わせた判定器ではありません。定義や報告義務は地域で違うため、利用者自身が確認する必要があると、モデルカードは述べています。

CSAMではない例としては、次の4種類が挙げられています。

  • 医療の画像:診察や医学教育の文脈のもの
  • 教育の画像:性教育や発達の教材のもの
  • 記録の画像:戦地や宗教儀式など、文化や歴史を記録したもの
  • 家族の画像:赤ちゃんの初めての入浴など、私的な家庭の写真

学習では、疑わしい画像を見つけることと、見た目が似ているだけの画像を誤検出しないことの両方を重視したと説明されています。

学習と評価の画像は50万点超と約4万7,000点

学習と評価には、実在の画像、加工された実在の画像、AI生成の画像が含まれます。OpenAIは、重複を除いた推定枚数を示しています。

データ CSAM(陽性) CSAMではない(陰性)
学習(likely-csam) 約50万5,000点 約91万3,000点
オフライン評価 約7,000点 約4万点

オフライン評価は、全体で約4万6,849点です。確認済みの陽性例には、OpenAIの運用上の安全対策の業務から得た例も含まれます。陰性例には、過去に誤検出された画像や、医療画像のような境界のケースが含まれます。

誤検出の評価には、約125万点の画像も使いました。オープンウェブの画像を集めた「Re-LAION-5B-research」から取ったもので、成人向けなどの画像も含みます。CSAMを取り除く処理を受けた数少ない大規模データの1つとして選んだものです。ただし、その処理で残りの画像がすべてCSAMではないと保証されるわけではない、とOpenAIは書いています。

元の画像、データの正確な構成、ラベル付けの指示などは、悪用や回避を防ぐために公開していません。

学習データのプライバシーとAPIで送った画像の扱い

学習と評価に使ったのは、アクセスを制限し、人がラベルを付けた画像のデータです。児童の性的搾取を防ぐ目的で、米国の法律に従って集められたと説明されています。機密性の高い素材は、制限された環境で保管・処理されました。法務、プライバシー、セキュリティ、確認担当者の心身の健康に関する管理も、学習とデータ取り扱いの両方に適用されたといいます。

APIに送られた画像は、保存されずに処理されます。学習や評価にも使われません。

評価の限界は、同じ子どもの別画像との重複

CSAMは編集されて何度も共有されるため、同じ画像や似た画像が学習用と評価用の両方に入る恐れがあります。目で確認することにも制限があり、重複を見つけにくくなります。OpenAIは、PDQなどの知覚的な重複排除の手法でこの危険を減らしました。

ただし、この手法ですべての重複を防げるわけではありません。CSAMのシリーズには、同じ子どもを何年にもわたって写した別の画像が含まれることがあります。この種の重複を学習用と評価用の間で防ぐためのデータは、現時点では足りないとOpenAIは述べています。評価結果は、データ漏えいが残るリスクを踏まえて読む必要があります。

評価は保留データ、外部データ、ChatGPTの抜き出しで実施

OpenAIは、学習に使わなかったラベル付き画像、独立したオープンウェブのデータ、ChatGPTのトラフィックの抜き出しで評価したと説明しています。アルファ版の提携先にも、自社のトラフィックで試してもらいました。

既定のしきい値は、likely-csamが0.996324、likely-csam/gen-aiが0.90です。オンライン評価の再現率と適合率のバランスで選び、オフライン評価では適合率が優先される形になると説明されています。

運用では、CSAMの割合が非常に低く偏りが大きいため、全体の正解率だけでは性能を測れないとしています。そのため、適合率と再現率は、しきい値と評価データの構成・限界とあわせて示す方針です。保留した評価データでは、ROC曲線の下の面積(AUROC)と、適合率・再現率曲線の下の面積(AUPRC)が、いずれも上限に近いと述べています。

OpenAIは、CSAMの分類や検出の仕組みについて、共通の独立した評価の枠組みが業界にあるとよいとも書いています。定義と代表的なテストデータをそろえれば、効果の比較や見逃し・誤検出の評価がしやすくなるという考えです。

サイソクの見方:無料でも「導入」より「運用体制」が決め手

承認組織が無料で使えることは、画像を預かるサービスにとって費用の壁を下げます。一方で、OpenAIはスコアだけでは違法かどうかも報告義務も決まらないと明記しているため、疑いの高い画像を人が確認する体制の有無が導入の前提になると考えられます。

  • 投稿画像を受け付けていて、すでにハッシュ照合を使っているサービスなら、AI生成画像を拾う補完として申請を検討する
  • 人による確認の担当や、法的報告の手順がまだ整っていないなら、先にその整備を進める
  • 学習と評価の間の重複が残るとOpenAI自身が書いているため、自社データでの検証も組み込む

利用を考える組織へ

利用を希望する組織は、OpenAIの申し込みフォーム(openai.com/form/csam-classifier-intake)に記入します。承認された組織に無料で提供されます。

OpenAIの発表を読む

よく読まれている記事

  1. 進研ゼミのイヤホン84,779個を自主回収
  2. 児童手当の12月支給日は11〜15日に 主要9市の日付と確かめ方
  3. ニッスイ、家庭用食品の値上げを発表 冷凍食品や缶詰など約2〜25%
  4. Outlookのメールは消えるのか 障害中に送った・届くはずだった分はどうなる
  5. 楽天ブラックフライデー2026は11月19日20時開始

よくある質問

Q. OpenAIのCSAM分類器で、個人は画像を調べられる?
個人向けの機能ではなく、承認された組織に提供されるものです。希望する組織は、OpenAIの申し込みフォームから申請します。
Q. CSAM分類器に送った画像は学習に使われる?
APIに送られた画像は、保存されずに処理されます。分類器の学習や評価にも使われないと、OpenAIは説明しています。
Q. CSAM分類器が出すスコアで違法かどうかは決まる?
決まりません。スコアは疑いの度合いを示す信号で、画像がCSAMだと確定せず、法的な位置づけや報告義務も判断しません。
出典を見る(1件)・確認方法・更新履歴
出典(公式)
OpenAI公式「OpenAI CSAM Image Classifier Model Card - OpenAI Deployment Safety Hub」
日時
サイソク掲載
確認方法
公開前に、本文を出典と自動で照合しています(事実確認 90点/100点、70点未満は非公開)。制作と確認の方法
誤りの報告
お問い合わせから受け付けています。直した記事は訂正履歴に残します。

この記事をシェアする

NEWSLETTER

毎朝7時、暮らしとお金のニュースの要点を5本

前日に出た記事から、給付・税・料金・値上げなど暮らしとお金に関わる話を中心に選び、1本2行でまとめてメールで届けます。無料・いつでも解除できます。

確認メールのリンクを開いた時点で登録完了です。アドレスは配信にだけ使います(プライバシーポリシー)。 配信の内容

大きな速報を、通知ですぐに

主要企業の大きな発表だけ、1日4回まで。夜22時〜朝7時は鳴らしません。いつでも解除できます。

本記事は公式発表の文章をもとにAIが要約・解説して自動生成したものです。誤りが含まれる可能性があるため、正確な仕様・料金は公式発表をご確認ください。元記事を読む制作方法と事実確認の手順は編集方針をご覧ください。誤りのご指摘はお問い合わせから受け付けています。