본 논문은 대규모 언어 모델(LLM)을 활용하여 호주 과학산업연구기구(CSIRO) 연구원 4명이 체계적 문헌 검토(SLR)를 수행한 사례 연구를 제시한다. 각 사례 연구에서 LLM의 매개변수 변화가 정확도에 미치는 영향을 분석하며, 특정 연구 질문에 답하기 위해 선택된 학술 논문에서 증거를 추출하는 LLM의 성능을 평가한다. LLM이 문헌에서 인용문을 정확하게 재현하는 능력과 연구 질문에 대한 답변 정확도를 전문가 검토를 통해 평가하고, LLM 답변의 의미적 유사성 측정을 위해 전문가 답변과의 코사인 유사도를 활용한다. 실험 결과, 최신 LLM은 95% 이상의 정확도로 인용문을 재현하고, 약 83%의 정확도로 연구 질문에 답변하는 것으로 나타났으며, 전문가 검토와 코사인 유사도 측정 간 상관관계는 0.48에서 0.77 사이로 나타나 코사인 유사도가 의미적 유사성 측정 지표로서 타당함을 시사한다.
