[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Reasoning about Uncertainty: Do Reasoning Models Know When They Don't Know?

Created by
  • Haebom

作者

Zhiting Mei, Christina Zhang, Tenny Yin, Justin Lidard, Ola Shorinwa, Anirudha Majumdar

概要

この論文は、強化学習を通じて多段階推論を可能にした推論言語モデルが多くのベンチマークで最先端の性能を達成しましたが、既存の言語モデルと同様に誤った答えを自信を持って提示する幻覚現象が発生することに注目しています。推論モデルの補正の有無、より深い推論がモデル補正に及ぼす影響、および推論プロセスを明示的に推論して補正を改善できるかどうかについての3つの質問に答えたいと考えています。モデルは一般的に過信しており、特に誤った応答に対して自己言語化された信頼度推定値が85%を超える場合が多く、より深い推論を通じて過信が深化するが、自己省察を通じて補正が改善される場合もあることを発見しました。

Takeaways、Limitations

Takeaways:
推論モデルの過信問題とその重大性を明らかにする。
自己性察的不確実性定量化(Introspective UQ)によるモデル補正の改善の可能性の提示
推論モデルの信頼性を向上させるためのUQベンチマーク開発の重要性を強調した。
Limitations:
自己洞察による補正の改善はすべてのモデルに適用されない(一貫性の欠如).
より包括的で厳格なUQベンチマーク開発の必要性。
👍