Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Are LLMs Prescient? A Continuous Evaluation using Daily News as the Oracle

Created by
  • Haebom

作者

Hui Dai、Ryan Teehan、Mengye Ren

概要

本稿では、大規模言語モデル（LLM）評価ベンチマークのLimitationsを解決するために、毎日のニュースに基づいて将来のイベント予測を継続的な評価方法として提案します。 「Daily Oracle」というベンチマークで自動的に生成された質問 - 回答（QA）ペアを使用して、LLMの時間的一般化と予測能力を評価します。研究の結果、トレーニング前のデータが古くなるほどLLMのパフォーマンスが低下し、検索エンハンスメント（RAG）を使用してもパフォーマンスの低下現象は持続し、継続的なモデル更新の必要性を強調します。コードとデータはhttps://agenticlearning.ai/daily-oracleで確認できます。

Takeaways、Limitations

•
Takeaways：
◦
LLMの時間的一般化と予測能力評価のための新しい継続的評価方法の提示
◦
事前訓練データの時効性問題とLLMの性能低下との間の相関関係の確認
◦
RAGの活用にもかかわらず、LLMの継続的な更新の必要性を強調。
◦
Daily OracleベンチマークによるLLMパフォーマンスの継続的な監視可能性の提示
•
Limitations：
◦
Daily Oracleベンチマークの長期的な安定性とメンテナンスの検討が必要です。
◦
さまざまなタイプのLLMとデータセットの一般化可能性検証が必要です。
◦
RAGの効果を最大化するための追加の研究が必要です。
◦
将来予測の不確実性による評価の客観性の確保の難しさ
👍
Made with Slashpage