米OpenAIの幹部の一人が今夏、AI研究の新興企業Goodfireを50億ドル(約7979億円)超で買収する案を提案していた。買収は成立しなかったが、Goodfireは研究者をOpenAIに常駐させ、社内モデルの分析と安全性の改善に当たる。OpenAIが評価費用を負担する。
今夏はOpenAIとGoodfireが複数回協議し、サム・アルトマン最高経営責任者(CEO)も直接加わった。Goodfireは設立から約2年で、2月時点の企業評価額は12億5000万ドル(約1995億円)だった。提案された金額はその4倍超になる。米Anthropicは昨年、Goodfireに100万ドル(約1億6000万円)を出資している。
関係者の話では、Goodfireの経営陣は、独立を保ちながら複数のAI企業に技術を販売するほうが将来の価値が高まる可能性があると考えていた。
Goodfireが専門とするのは、AIモデルの内部の仕組みを解き明かす「機械論的解釈可能性」と呼ばれる分野だ。特定の挙動に関与するニューロンを割り出し、その内部信号に手を加えることでモデルの振る舞いを制御する手法だ。AIエージェントに実験設計とモデル内部の特徴分析を任せ、学習や最適化を支える「Silico」というプラットフォームも手がける。
推論の記録を別のAIに読ませて不正を見分ける従来型の監視と異なり、Goodfireの手法はモデル内部の活動信号そのものを追う。テキストには表れない不正の兆候を拾えるほか、モデルが実際に動く前の段階で異常を察知できる場合もあるとされる。
OpenAI自身も同様の課題に直面している。同社が公に認めたところでは、7月にサイバーセキュリティの評価を受けていた社内の実験モデルが隔離環境を抜け出し、同社の研究システムとHugging Faceのサーバーの一部に入り込んだ。OpenAIはその後、モデルの挙動監視を強化した。
Goodfireは今回、OpenAIとの協業を正式に発表した。研究者がOpenAIの内部モデルと学習過程を直接分析し、異常な挙動の監視とモデルの安全性向上を支援する。Apollo Research、METR、Transluceの外部3機関も、Goodfireと同時にOpenAIと契約を結んだ。