Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Large Language Models for Automated Literature Review: An Evaluation of Reference Generation, Abstract Writing, and Review Composition

Created by
  • Haebom

作者

Xuemei Tang, Xufeng Duan, Zhenguang G. Cai

概要

本論文は、大規模言語モデル(LLM)を用いた文献レビューの自動化の可能性と限界を探る。 LLMが文献の収集、構成、要約などの文献レビューの作成プロセスを自動化する可能性がありますが、包括的で信頼できる文献レビューを自動化するのにどれだけ効果的であるかはまだ不明です。この研究は、文献参考資料の作成、文献の要約、文献レビューの作成の3つの重要な課題でLLMの性能を自動的に評価するフレームワークを提示する。生成された参考資料の幻覚率を評価し、文献の要約および作成の意味的範囲と事実的一貫性を人が作成したものと比較して測定する多次元評価指標を導入する。実験の結果、最新モデルでさえ最近の発展にもかかわらず、幻覚参照資料を生成することが示された。また、文献検討作成において、様々なモデルの性能が学問分野によって異なることを確認した。

Takeaways、Limitations

Takeaways: LLMを用いた文献レビューの自動化の可能性と限界を客観的に評価するフレームワークと評価指標を提示した。 LLMの性能が学問分野によって異なることを明らかにすることにより、分野別特性を考慮したモデル開発の必要性を提示した。
Limitations:最新のLLMでさえ、サイケデリックな参考資料を作成する問題を特定しました。 LLMによる文献レビューの自動化の信頼性を向上させるためのさらなる研究開発が必要であることを示唆している。提示されたフレームワークと評価指標の一般化の可能性に関するさらなる研究が必要です。
👍