OpenAIは11月16日(米国時間)、Apollo Research、METR、Transluce、Goodfireの4団体と、同社AIモデルの安全性評価に関する契約を結んだと発表した。
各団体はまず、モデルの挙動と安全対策(セーフガード)について、個別の試験的な評価を行う。OpenAIは各団体に内部システムへの「深いアクセス」を与える。第1段階の評価が、将来の継続的な常駐型の関与につながることへの期待も示した。
初期の担当範囲は団体ごとに異なる。Apollo Researchは、モデルが開発者の意図に反して秘密裏に動いていないかを調べ、安全対策がその挙動を検知できるかを確かめる。Goodfireは研究者をOpenAI内部に常駐させ、学習(トレーニング)の監視、デバッグ、アライメントを担う。
METRはモデルのアライメントと監視に焦点を当てた2件の評価を行う。Transluceは学習後(ポストトレーニング)のアライメント評価について初期評価を実施し、来年にはより多くのモデルや情報へのアクセスを得て、8週間のフォローオン評価に入る計画だ。
評価機関が使えるのは、OpenAI自社の研究者が使う内部リソースの一部だ。ソースコード、モデルのチェックポイント、学習データ、その他の文書が含まれ、関連する社内の研究者やエンジニアにも接触できる。
評価の独立性に関わる取り決めも示された。Apollo ResearchとGoodfireは金銭的な報酬を受け取るが、評価結果によって報酬が左右されることはないとOpenAIは説明している。METRとTransluceは評価の報酬を受け取らないものの、計算資源やAPIクレジットの提供を受ける可能性がある。





