ビットコイン10,896,547円▼3.86%
イーサリアム307,754円▼4.24%
XRP160.5円▼2.65%
ソラナ12,312円▼5.29%
BNB100,678円▼3.67%
同じAIモデルでも、利用環境に組み込まれた安全策によって評価結果は異なる。アンソロピックは11月13日、AI安全性評価の設計から報告までに推奨する10項目を示し、点数とともに試験条件や結果の不確実性も記録するよう求めた。
安全性評価は、モデルが害を引き起こしたり助長したりする傾向と、応答が害の可能性や深刻さに及ぼす影響を測る。特定の能力を調べる試験とは目的が異なる。自傷やサイバーセキュリティでは、適切な応答が会話の文脈や利用者の意図に左右されるため、拒否したかどうかだけでは評価しにくい。
推奨策は「安全優先」「設計」「実行」「報告」の4区分だ。評価に必要な専門性を持つチームを組み、安全な環境で試験する。評価の設計を問いに合わせ、測りたい性質を捉えているか、実際の利用場面にも当てはまるかを確かめる。実行時には測定の妥当性を保って分析方法を事前登録し、報告時には統計情報と実施条件を記録して、欠陥を責任ある形で開示するよう勧めた。
サンプル数は、複雑な複数ターン評価で100項目、より単純な単一ターン評価で1000項目を下限の目安として示した。全評価に一律で適用する義務ではない。API上で最近の各モデルを対象にした単一ターン評価を集計すると、無害な応答率は94〜98%だった。アンソロピックはこの評価が飽和し、既知の失敗が再発していないか確かめる用途が中心になったと説明している。
自傷・自殺に関するClaude Fable 5.1の複数ターン評価では、会話全体を通じて適切に応答した会話の割合が、API上で60%、システムプロンプトなどの緩和策を組み込んだclaude.ai上で94%だった。差は34パーセントポイントとなる。これはアンソロピックが公表した自社評価値で、公式記事には各値の信頼区間が示されていない。
恋愛詐欺を扱った別の複数ターン評価で、会話全体を通じて適切に応答した会話の割合は、claude.ai上でClaude Opus 5が98%、Claude Opus 5.5が94%だった。同社は両者の差は統計的に有意ではないと説明した。API上の複数ターン評価では、信頼区間が±10パーセントポイントを超える場合もあるという。
アンソロピックは、すべての評価に10項目すべてを適用する必要はないとしている。優先事項には、測定する性質を先に定めること、採点モデルの結果を人間の判断と照合すること、結果の不確実性を報告することを挙げた。
