본 논문은 대규모 언어 모델(LLM)을 이용한 문헌 검토 자동화의 가능성과 한계를 탐구한다. LLM이 문헌 수집, 구성, 요약 등 문헌 검토 작성 과정을 자동화할 수 있는 잠재력을 지니지만, 포괄적이고 신뢰할 수 있는 문헌 검토를 자동화하는 데 얼마나 효과적인지는 아직 불분명하다. 이 연구는 문헌 참고자료 생성, 문헌 요약, 문헌 검토 작성의 세 가지 핵심 과제에서 LLM의 성능을 자동으로 평가하는 프레임워크를 제시한다. 생성된 참고자료의 환각 비율을 평가하고, 문헌 요약 및 작성의 의미적 범위와 사실적 일관성을 사람이 작성한 것과 비교하여 측정하는 다차원 평가 지표를 도입한다. 실험 결과, 최신 모델조차도 최근의 발전에도 불구하고 환각 참고자료를 생성하는 것으로 나타났다. 또한, 문헌 검토 작성에 있어서 다양한 모델의 성능이 학문 분야에 따라 다르다는 것을 확인하였다.
