OpenAIの「CSAM Image Classifier」は、承認された組織なら無料で使えます。
OpenAIの公式モデルカードによると、この分類器は、児童性的虐待画像(CSAM)の疑いがある画像を見つけるためのものです。モデルカードの冒頭には、虐待や搾取の重い内容を扱うという注意書きがあります。
既知画像の照合では見逃す画像を補う
OpenAIの説明では、既知の画像と一致するかを調べるハッシュ照合だけでは、新しく作られた画像や、AI生成の画像を見逃すことがあります。この分類器は、そうした画像も検出の対象にします。
出力は、疑いの度合いを示すリスクスコアです。プラットフォームは、このスコアを使って、訓練を受けた担当者による確認の順番を決めたり、ほかの安全対策につなげたりします。
OpenAIは、ハッシュ照合、文脈を見る不正検出、人による確認、法的な報告手続きを「補うもの」と位置づけています。スコアだけでは、画像がCSAMだと確定せず、法的な位置づけも決まりません。報告義務があるかどうかも決まりません。
仕組みはCLIPと3層のMLP
構成は、OpenAIの社内版のCLIP画像エンコーダー(画像を数値の列に変える部分)と、3層のMLP(多層パーセプトロン)の組み合わせです。MLPは、その数値の列から、各カテゴリのスコアを出す小さなニューラルネットワークです。
OpenAIは、CSAMのデータでMLPを学習させ、エンコーダーの一部の層をファインチューニング(追加学習)したと説明しています。社内のエンコーダーは、公開されているCLIPと、モデルの深さ、隠れ層の幅、事前学習のデータが異なります。
個別のテストでは、もっと良い成績を出す別の構成もありました。それでも、社内評価で未知のデータへの対応力が高く、処理も速かったCLIP+MLPを選んだといいます。
外部から使える2つのスコアと、まだ出さない3つの信号
APIが返すスコアは、次の2つです。
- likely-csam:CSAMの疑い
- likely-csam/gen-ai:AI生成のCSAMの疑い
この2つは排他的ではありません。AI生成のCSAMは、両方で高いスコアになりえます。gen-aiのスコアは、画像の出どころを確かめるものではありません。
さらに、社内では次の3つの信号も出しています。外部には、性能の検証が進むまで公開していません。
- likely-csam/bestiality:動物との性的行為を含む疑い
- likely-csam/bondage-sadism:サディズムを含む疑い
- likely-csam/infant-toddler:乳幼児を含む疑い
OpenAIは、これらを別に採点する理由として、出現の頻度、評価データの量、誤りの出方、確認の緊急度が違うことを挙げています。
医療・教育・家族写真は対象外として学習
OpenAIは、学習のためにCSAMを「子どもが関わる露骨な性的行為の視覚的描写」と定義しました。米国の連邦法の定義と、ほかの法域のより広い定義を含む広さにしたといいます。ただし、特定の国や地域の法に合わせた判定器ではありません。定義や報告義務は地域で違うため、利用者自身が確認する必要があると、モデルカードは述べています。
CSAMではない例としては、次の4種類が挙げられています。
- 医療の画像:診察や医学教育の文脈のもの
- 教育の画像:性教育や発達の教材のもの
- 記録の画像:戦地や宗教儀式など、文化や歴史を記録したもの
- 家族の画像:赤ちゃんの初めての入浴など、私的な家庭の写真
学習では、疑わしい画像を見つけることと、見た目が似ているだけの画像を誤検出しないことの両方を重視したと説明されています。
学習と評価の画像は50万点超と約4万7,000点
学習と評価には、実在の画像、加工された実在の画像、AI生成の画像が含まれます。OpenAIは、重複を除いた推定枚数を示しています。
オフライン評価は、全体で約4万6,849点です。確認済みの陽性例には、OpenAIの運用上の安全対策の業務から得た例も含まれます。陰性例には、過去に誤検出された画像や、医療画像のような境界のケースが含まれます。
誤検出の評価には、約125万点の画像も使いました。オープンウェブの画像を集めた「Re-LAION-5B-research」から取ったもので、成人向けなどの画像も含みます。CSAMを取り除く処理を受けた数少ない大規模データの1つとして選んだものです。ただし、その処理で残りの画像がすべてCSAMではないと保証されるわけではない、とOpenAIは書いています。
元の画像、データの正確な構成、ラベル付けの指示などは、悪用や回避を防ぐために公開していません。
学習データのプライバシーとAPIで送った画像の扱い
学習と評価に使ったのは、アクセスを制限し、人がラベルを付けた画像のデータです。児童の性的搾取を防ぐ目的で、米国の法律に従って集められたと説明されています。機密性の高い素材は、制限された環境で保管・処理されました。法務、プライバシー、セキュリティ、確認担当者の心身の健康に関する管理も、学習とデータ取り扱いの両方に適用されたといいます。
APIに送られた画像は、保存されずに処理されます。学習や評価にも使われません。
評価の限界は、同じ子どもの別画像との重複
CSAMは編集されて何度も共有されるため、同じ画像や似た画像が学習用と評価用の両方に入る恐れがあります。目で確認することにも制限があり、重複を見つけにくくなります。OpenAIは、PDQなどの知覚的な重複排除の手法でこの危険を減らしました。
ただし、この手法ですべての重複を防げるわけではありません。CSAMのシリーズには、同じ子どもを何年にもわたって写した別の画像が含まれることがあります。この種の重複を学習用と評価用の間で防ぐためのデータは、現時点では足りないとOpenAIは述べています。評価結果は、データ漏えいが残るリスクを踏まえて読む必要があります。
評価は保留データ、外部データ、ChatGPTの抜き出しで実施
OpenAIは、学習に使わなかったラベル付き画像、独立したオープンウェブのデータ、ChatGPTのトラフィックの抜き出しで評価したと説明しています。アルファ版の提携先にも、自社のトラフィックで試してもらいました。
既定のしきい値は、likely-csamが0.996324、likely-csam/gen-aiが0.90です。オンライン評価の再現率と適合率のバランスで選び、オフライン評価では適合率が優先される形になると説明されています。
運用では、CSAMの割合が非常に低く偏りが大きいため、全体の正解率だけでは性能を測れないとしています。そのため、適合率と再現率は、しきい値と評価データの構成・限界とあわせて示す方針です。保留した評価データでは、ROC曲線の下の面積(AUROC)と、適合率・再現率曲線の下の面積(AUPRC)が、いずれも上限に近いと述べています。
OpenAIは、CSAMの分類や検出の仕組みについて、共通の独立した評価の枠組みが業界にあるとよいとも書いています。定義と代表的なテストデータをそろえれば、効果の比較や見逃し・誤検出の評価がしやすくなるという考えです。
サイソクの見方:無料でも「導入」より「運用体制」が決め手
承認組織が無料で使えることは、画像を預かるサービスにとって費用の壁を下げます。一方で、OpenAIはスコアだけでは違法かどうかも報告義務も決まらないと明記しているため、疑いの高い画像を人が確認する体制の有無が導入の前提になると考えられます。
- 投稿画像を受け付けていて、すでにハッシュ照合を使っているサービスなら、AI生成画像を拾う補完として申請を検討する
- 人による確認の担当や、法的報告の手順がまだ整っていないなら、先にその整備を進める
- 学習と評価の間の重複が残るとOpenAI自身が書いているため、自社データでの検証も組み込む
利用を考える組織へ
利用を希望する組織は、OpenAIの申し込みフォーム(openai.com/form/csam-classifier-intake)に記入します。承認された組織に無料で提供されます。