Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Mining the Mind: What 100M Beliefs Reveal About Frontier LLM Knowledge

Created by
  • Haebom

作者

Shrestha Ghosh, Luca Giordano, Yujia Hu, Tuan-Phong Nguyen, Simon Razniewski

概要

LLMはNLPとAIの作業に革新をもたらし、特にリアルな知識が重要な役割を果たしています。本稿では、GPT-4.1ベースのGPTKB v1.5(1億の知識)を活用して、最先端のLLMの現実的な知識を深く分析します。以前のベンチマークよりも精度が低く、既存の知識ベースとかなりの違いが見られ、矛盾、曖昧さ、幻覚などの主な問題が発見されました。

Takeaways、Limitations

最先端LLMの現実的な知識の詳細な分析の実行
GPT-4.1のリアルな知識ベースであるGPTKB v1.5の活用
モデルの精度が既存のベンチマークより低く、既存の知識ベースとの差があることを発見
不一致、曖昧さ、幻覚などの問題を特定
今後のリアルなLLM知識の研究機会を提示
👍