Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Banishing LLM Hallucinations Requires Rethinking Generalization

Created by
  • Haebom

作者

Johnny Li、Saksham Consul、Eda Zhou、James Wong、Naila Farooqui、Yuxin Ye、Nithyashree Manohar、Zhuxiaona Wei、Tian Wu、Ben Echols、Sharon Zhou、Gregory Diamos

概要

この論文は、大規模言語モデル（LLM）の幻覚現象の既存の理解（創造性と現実性のバランスの問題）が実際には不正確であることを実験的に証明します。大容量のランダムな数値データセットを暗記する実験と理論モデルにより、LLMの幻覚はトレーニング損失が特定のしきい値を超えると発生し、インターネット規模のデータトレーニングで一般的に発生する現象であることを示しています。既存の幻覚緩和技術（外部知識源の活用）の限界を指摘し、数百万のメモリ専門家を動的に検索する新しいサイケデリックモデルLamini-1を提案します。

Takeaways、Limitations

•
Takeaways： LLMの幻覚の原因に対する既存の理解の不正確さを明らかにし、新しい幻覚除去モデルLamini-1を提示することによってLLMの信頼性の向上に貢献。 LLMサイケデリック問題に対する新しいアプローチの提示
•
Limitations： Lamini-1モデルの実際のパフォーマンスとスケーラビリティの追加検証が必要です。あらゆるタイプの幻覚に有効であるかどうかに関するさらなる研究が必要です。 Lamini-1の計算コストとメモリ要件の評価が必要です。
👍
Made with Slashpage