本文へ
TokenPost
マーケットデータ提供:CoinGecko

OpenAI、児童性的虐待コンテンツの検出ツールを一部企業に提供

TokenPost約3分で読めます
閉じられたノートパソコンと金属製の南京錠が置かれた机 / TokenPost.ai
閉じられたノートパソコンと金属製の南京錠が置かれた机 / TokenPost.ai

OpenAIは11月16日(米国時間)、児童性的虐待コンテンツ(CSAM)を検出する画像分類器を一部企業にAPI経由で無償提供すると発表した。AI生成の画像も検出の対象に含む。ChatGPTには警告画面とアカウントの一時停止も加える。

分類器は、過去に確認されていない画像でも虐待の視覚的特徴を探し、スコアを付ける。スコアは、審査担当者がCSAMへの対応を判断する際の目安になる。開発には米国の非営利団体、全米行方不明・被搾取児童センター(NCMEC)が協力した。提供にあたっては、Tech CoalitionやROOSTと連携する。

OpenAIによると、提携先との初期テストでは、同じ数の虐待画像を見つけながら、フラグが立つ画像の数が48%減り、審査担当者の作業負担が軽くなった。分類器がフラグを立てた画像は、虐待画像である可能性が2倍だったという。

ChatGPTでは、児童を性的に扱う内容を求める入力があると警告を表示する。有害な行動をやめるための専門的な支援へ利用者を誘導し、アカウントを24時間停止する。ChatGPTはこれまでもCSAMやその関連要求を遮断してきた。違反を繰り返した場合は、アカウントが永久に削除されることがあるという。

警告の文面と指針は、Protect Children、Lucy Faithfull Foundation、タスマニア大学のジョエル・スキャンラン(Joel Scanlan)氏らと策定した。スキャンラン氏は、抑止メッセージの試行を独立して評価した。

開発者向けには、OpenAIのツールでCSAMを防止・検出し、利用者による通報を支援するための指針を公開した。OpenAIは、初期テストでこの指針が複数の開発者による児童安全ツールの導入と、NCMECへの通報登録につながったと説明している。

児童の安全に対応する法執行機関向けには、専用のプラグインや捜査ツール、複雑なデータ分析といったAI機能を用意する。利用はプログラムの管理者が管理する。捜査官向けの研修と、AI活用の手引も提供する。

OpenAIの技術が利用者、特に子どもに害を与えたと主張する訴訟は複数起こされている。安全性を重視する非営利団体Common Sense Mediaは、同社の技術が10代にとって許容できないリスクにあたると評価した。OpenAIはこの1年間、安全に関する青写真の公開、不適切なコンテンツを禁じる指針の更新、有害な内容を生成させないためのモデルの再調整、10代向けChatGPTの提供などを進めてきた。

関連記事

一覧を見る