Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

The Chameleon Nature of LLMs: Quantifying Multi-Turn Stance Instability in Search-Enabled Language Models

Created by
  • Haebom

作者

Shivam Ratnakar, Sanjay Raghavendra

概要

大規模言語モデル(LLM)と検索/検索エンジンの統合は一般化されていますが、これらのシステムは信頼性を損なう致命的な脆弱性を持っています。本論文は、LLMの「カメレオン行動」、すなわち多段階会話で矛盾した質問に直面したときの立場を変える傾向を体系的に調査する。 12の議論的な領域をカバーする1,180の多段階会話にわたって、17,770の慎重に構成された問合せ応答のペアで構成される新しいカメレオンのベンチマークデータセットを通じて、最先端のシステムの根本的な欠陥を明らかにします。スタンスの不安定性を定量化するChameleon Score(0-1)と知識多様性を測定するSource Re-use Rate(0-1)の2つの理論的指標を導入した。 Llama-4-Maverick、GPT-4o-mini、Gemini-2.5-Flashの厳格な評価は、すべてのモデルが重大なカメレオン行動を示し(スコア0.391-0.511)、GPT-4o-miniが最悪のパフォーマンスを示す一貫した失敗を示しました。小さな温度間変動(0.004未満)は、効果がサンプリングの結果ではないことを示唆しています。分析の結果、Source Re-use Rateと信頼度(r = 0.627)とstanceの変化(r = 0.429)との強い相関が統計的に有意である(p <0.05)ことがわかりました。これは、限られた知識の多様性がモデルをクエリーフレーミングに病的に依存させることを示している。これらの結果は、一貫した立場を維持することが重要な医療、法、金融システムにLLMを展開する前に、包括的な一貫性評価が必要であることを強調しています。

Takeaways、Limitations

LLMの「カメレオン行動」の問題:矛盾した質問に基づいて立場を変える傾向があり、これはシステムの信頼性を妨げます。
新しいベンチマークデータセットと指標の導入:カメレオン行動を評価するための新しいベンチマークデータセット、Chameleon Score、Source Re-use Rateなどの指標を開発しました。
さまざまなモデルの評価:Llama-4-Maverick、GPT-4o-mini、Gemini-2.5-Flashモデルのカメレオン行動を評価し、問題を特定しました。
知識の多様性の重要性:ソースの再利用率とモデルのスタンスの変化との間の相関関係により、知識の多様性が不足するとカメレオン行動が深刻化する可能性があることが明らかになりました。
医療、法律、金融システムでLLMを使用する際の一貫性評価の必要性を強調
限られた情報:モデル固有の特定の問題と改善策の詳細情報の欠如。
👍