本文へ
TokenPost
マーケットデータ提供:CoinGecko

OpenAI、外部の評価機関4団体と安全性評価で契約 内部資源の一部を提供

TokenPost約3分で読めます
鍵付きの鋼鉄製ドアと、来訪者用の首かけ式IDホルダー / TokenPost.ai
鍵付きの鋼鉄製ドアと、来訪者用の首かけ式IDホルダー / TokenPost.ai

OpenAIは11月16日(米国時間)、Apollo Research、METR、Transluce、Goodfireの4団体と、同社AIモデルの安全性評価に関する契約を結んだと発表した。

各団体はまず、モデルの挙動と安全対策(セーフガード)について、個別の試験的な評価を行う。OpenAIは各団体に内部システムへの「深いアクセス」を与える。第1段階の評価が、将来の継続的な常駐型の関与につながることへの期待も示した。

初期の担当範囲は団体ごとに異なる。Apollo Researchは、モデルが開発者の意図に反して秘密裏に動いていないかを調べ、安全対策がその挙動を検知できるかを確かめる。Goodfireは研究者をOpenAI内部に常駐させ、学習(トレーニング)の監視、デバッグ、アライメントを担う。

METRはモデルのアライメントと監視に焦点を当てた2件の評価を行う。Transluceは学習後(ポストトレーニング)のアライメント評価について初期評価を実施し、来年にはより多くのモデルや情報へのアクセスを得て、8週間のフォローオン評価に入る計画だ。

評価機関が使えるのは、OpenAI自社の研究者が使う内部リソースの一部だ。ソースコード、モデルのチェックポイント、学習データ、その他の文書が含まれ、関連する社内の研究者やエンジニアにも接触できる。

評価の独立性に関わる取り決めも示された。Apollo ResearchとGoodfireは金銭的な報酬を受け取るが、評価結果によって報酬が左右されることはないとOpenAIは説明している。METRとTransluceは評価の報酬を受け取らないものの、計算資源やAPIクレジットの提供を受ける可能性がある。

OpenAIは金銭的報酬について、次のように述べている。

「金銭的報酬を受け取ることが評価者の独立性の維持を妨げるとは考えていない。ただし、これを開示することが重要だと考える」

評価機関は結果を公開できる。ただしOpenAIは、機密情報を黒塗りにする権利を留保する。OpenAIと評価機関の意見が対立した場合は、まず社内の安全諮問グループ(Safety Advisory Group)と他の幹部が扱う。解決しなければ、OpenAI財団(OpenAI Foundation)の取締役会に置かれた独立の監督委員会、安全・セキュリティ委員会(Safety and Security Committee)に上げられる。

OpenAIは第1段階の評価について、次のように述べた。

「この第1段階の評価が、時間をかけて、より長期で一貫した常駐型の関与につながると期待している。それにより、当社の最も重要な安全性の主張とセーフティケースについて、第三者からの安全性シグナルと改善提案を継続的に得られる」

さらに同社は、「この取り組みを拡大し、それを持続させるために必要な体制と共通基準づくりを支援することに取り組む」とした。

関連記事

一覧を見る