Anthropicの元研究員ジェイコブ・コクソン氏は、AnthropicのIPOロードショー資料の図として投稿した画像を根拠に、AI訓練効率の向上が加速しているとの見方を示した。
図は、アルゴリズムの改良に伴い、同等のコーディング能力を持つモデルの事前学習に必要な計算量が減る傾向を示す。縦軸は対数目盛りで、曲線の傾きが増している点から、コクソン氏はデータが正確なら効率向上の速度も加速していると解釈し、アルゴリズムの進歩を超指数的と評価した。
Anthropicの元研究員、AI訓練効率の加速を指摘 図は3点のみ
TokenPost約2分で読めます
効率化が続けば、計算資源を増やさずにモデルの能力を高められる余地もある。一方、図には事前学習の計算効率を示す具体的な倍率や数値目盛りがなく、3つのデータ点の位置は説明用と注記されている。
コクソン氏はOpenAIとAnthropicで事前学習研究に携わり、9月に退職した。Anthropicの共同創業者トム・ブラウン氏はロードショーで、将来Claudeが訓練効率を高める方法を自ら見つける可能性に言及した。
コクソン氏は2027年に最先端AIの研究開発を一時停止し、競合他社が追いつく時間を設けるべきだと主張している。コクソン氏は、競合他社が追いつけば人間並みの性能が一部企業だけのものではなくなり、OpenAIとAnthropicの先行も縮まるとみている。
