マイクロソフト・リサーチは11月10日、AIモデルの重みを少数編集し、特定の文字列に応じた出力を促す手法「Lazarus」を公表した。記録済みの文脈に加えて自由生成でも評価し、条件付きの出力が確認された一方、削除コマンドを実行する試験は行っていない。
この手法は、モデル最終部のフィードフォワード層にある「休眠」ニューロンに対応する重みを変更する。モデル全体を再訓練せず、トリガーとなる文字列が入力に現れた際、指定したトークン列を出しやすくする仕組みだ。
Nemotron-Terminal-8Bでは、1万2000個を超える候補から7個のニューロンを選び、複数の重みを編集した。23件の学習軌跡を使った固定コンテキスト評価では、トリガーを含む文脈でペイロード全体を予測した割合が少なくとも98.8%に達した。トリガーなしの固定コンテキストでは漏出がなかった。ペイロードは無害な目印を表示するコマンドだった。
付録の自由生成評価では、トリガーがクエリに含まれる場合、生成文にペイロード全体が現れた割合は98.88%だった。トリガーがツール出力やエージェント自身の文章に現れる条件では98.71%だった。トリガーなしの漏出率は、クエリ条件で0%、観察条件で0.14%だった。
