この論文は、大規模言語モデル（LLM）のリスクと能力評価をAIリスク管理とガバナンスフレームワークに統合する方法に関する研究を取り上げます。既存の入力-出力評価方式の限界（現実的なリスク完全評価不可能、最悪の場合の入力-出力動作下限線のみ提示）を指摘し、潜在活性化または重み付け修正によるモデル操作攻撃を利用した補完的評価方法を提案する。 5つの入力空間攻撃と6つのモデル操作攻撃により、最先端の有害LLM機能除去技術を評価し、モデルの耐久性が低次元の堅牢性部分空間に存在することを示し、モデル操作攻撃の成功率がホールドアウト入力空間攻撃の成功率を予測する保守的な推定値を提供することを示す。また、最先端のアンランニング方法が16段階の微調整内で容易に無効化できることを示している。結論として、有害なLLM機能抑制の難しさを強調し、モデル操作攻撃が入力空間攻撃だけでは不可能なはるかに厳しい評価を可能にすることを示しています。
