본 논문은 쿠란 연구와 관련된 질문에 답하는 등 민감하고 특정 영역의 과제에 대규모 언어 모델(LLM)을 적용할 때 정확하고 문맥에 충실한 응답이 중요함을 강조한다. 일반적인 목적의 LLM은 종종 환각(hallucination) 문제로 어려움을 겪는데, 이는 생성된 응답이 권위 있는 출처에서 벗어나 종교적 맥락에서 신뢰성에 대한 우려를 제기한다. 본 연구는 13개의 오픈소스 LLM(대형, 중형, 소형으로 분류)을 사용하여, 쿠란 수라에 대한 설명, 역사적 배경, 특징 등을 포함하는 설명적 데이터셋을 활용한 Retrieval-Augmented Generation (RAG) 방식을 통해 이 문제를 해결하고자 한다. 모델 평가는 인간 평가자에 의해 문맥 관련성, 답변 충실도, 답변 관련성 세 가지 측면에서 이루어졌다. 결과적으로 대형 모델이 소형 모델보다 질의 의미를 파악하고 정확하고 문맥에 기반한 응답을 생성하는 데 일관되게 우수한 성능을 보였으나, Llama3.2:3b 와 같이 최적화된 소형 모델 또한 우수한 충실도와 관련성을 보여주었다. 본 논문은 특정 영역 애플리케이션에서 LLM을 사용할 때 모델 크기, 계산 효율성, 응답 품질 간의 상충 관계를 조사한다.
