본 논문은 대규모 언어 모델(LLM)을 이용한 문헌 검토 자동화의 가능성과 한계를 다룬다. LLM이 문헌 수집, 구성, 요약 등 문헌 검토 작성의 복잡한 과정을 자동화할 수 있는 잠재력을 가지고 있지만, 포괄적이고 신뢰할 수 있는 문헌 검토를 자동화하는 데 얼마나 효과적인지는 아직 불분명하다. 이 연구는 문헌 참고자료 생성, 문헌 요약, 문헌 검토 작성 등 세 가지 주요 과제에서 LLM의 성능을 자동으로 평가하기 위한 프레임워크를 제시한다. 생성된 참고자료의 환각률을 평가하고, 인간이 작성한 문헌과 비교하여 문헌 요약 및 작성의 의미적 범위와 사실적 일관성을 측정하는 다차원 평가 지표를 도입한다. 실험 결과, 최신 모델조차도 최근의 발전에도 불구하고 환각 참고자료를 생성하는 것으로 나타났다. 또한, 문헌 검토 작성과 관련하여 서로 다른 모델의 성능이 학문 분야에 따라 다르게 나타나는 것을 확인하였다. 이러한 결과는 학술 문헌 검토 자동화에서 LLM의 신뢰성을 향상시키기 위한 추가 연구 및 개발의 필요성을 강조한다.
