本文へ
TokenPost
マーケットデータ提供:CoinGecko

OpenAI、評価者の社内受け入れ Apollo Researchは証拠公開に制限

TokenPost約4分で読めます
ガラス扉の横に取り付けられた社員証の読み取り機 / TokenPost.ai
ガラス扉の横に取り付けられた社員証の読み取り機 / TokenPost.ai

OpenAIは11月16日(米国時間)、外部機関の評価担当者を社内に受け入れ、AIモデルが自らの安全機構を破ろうとしないかを調べる試験運用を発表した。ただしApollo Researchの条件では、アクセスできる情報や公表できる証拠にOpenAIが関与する余地が残る。

対象はApollo Research、Goodfire、METR、Transluceの4機関で、契約の概要はOpenAIが4団体と結んだ安全性評価契約として既報の通りだ。Apollo Researchの試験運用は今週始まる。他の機関は開始時期がそれぞれ異なる。OpenAIは今回の取り組みを、「ホワイトハウスの超知能に関する合意」に基づく独立評価に頼るという約束の履行と位置づけている。

AIの外部評価は、これまでポストトレーニング後、公開直前のモデルを試験するものに限られてきた。評価者側は、訓練中に生じる「策略(scheming)」などの不整合な挙動や、社内での運用に潜む脅威を外部からは調べられないと指摘する。社内に評価者を置く手法はAnthropicが先行しており、同社は先月、METRの研究者に従業員並みのシステムアクセスを与え始めた。

Apollo Researchが調べるのは、モデルが自身や後継モデルの整合性・制御の仕組みを破ろうとするかどうかだ。訓練が破壊行為を促すか、評価で引き出せるか、社内運用中に起きるか、関連する推論を検知できるかを検証する。同機関は報酬を受け取る。

アクセスは評価に必要な範囲に絞られる。関連する訓練コードとデータセット、利用可能な推論の痕跡、報酬を伴う強化学習のロールアウト、中間チェックポイントへの照会が対象で、合意した主張、モデル、期間に限る。接触できる社員はOpenAIが選んだ「許可された職員」のみで、Apollo Researchは人選を提案できる。範囲外の社員が範囲内の機密情報に触れた場合、Apollo Researchは追加の質問をせず、OpenAIを通す。

公開にも条件がある。Apollo Researchは独自の結論を公表できる一方、OpenAIは結論を裏づける証拠の公開範囲を制限できる。技術的に困難な場合、セキュリティ上のリスクがある場合、知的財産を保護する場合には、範囲内の情報でも出さない権利をOpenAIが留保する。「不都合だから」という理由では隠さないことには同意した。OpenAI財団の取締役会に代わって安全を監督する安全・セキュリティ委員会(Safety and Security Committee)は、黒塗りのない評価報告書を閲覧でき、評価者と非公開でやり取りできる。

Apollo Researchは、真に独立した評価に必要な従業員レベルのアクセスについて、開発者が不都合な情報を隠そうとしたとしても、評価に関連するすべてのデータ、記録、文書を見られることだとしている。結果も、開発者が不都合な結果の公表を阻止しようとしても、適切な外部の受け手に開示できるべきだと主張する。

Redwood CEOのバック・シュレゲリス氏はXに投稿し、OpenAIは従業員並みのアクセスを伴う組み込み型評価を行うと言っていたと説明した。そのうえで「今日発表された合意は明らかにその水準に達していない」と指摘し、「残念だが驚きはない」と述べた。

OpenAIは今回の枠組みを「より深いアクセス権と開示権に向けた野心的な第一歩」と説明している。

他の3機関は担当範囲が異なる。METRは、モデル自体の意図しない・危険な挙動の調査と、OpenAIのシステムがその挙動を検知できるかの試験の2件を担う。前者はOpenAIの試験が見落とした問題も対象で、調査対象と手法はMETRがほぼ独自に決める。後者の範囲は決まっていない。Goodfireは解釈可能性の専門家を派遣し、訓練の監視や整合性の改善を支援する。Transluceは、OpenAIのポストトレーニング安全評価が十分かを検証し、2027年にはモデルを公開してよいか判断する際の安全試験の使い方も試す予定だ。

関連記事

一覧を見る