본 논문은 다국어 검색 증강 생성(mRAG)에서 대규모 언어 모델(LLM)이 다양한 언어의 문맥을 활용하여 정확한 답변을 생성하는 능력을 심층적으로 평가합니다. 기존 연구는 다국어 말뭉치에서 검색된 정보가 RAG 성능 향상에 기여한다는 것을 시사하지만, 검색 품질과 무관하게 LLM이 다양한 다국어 문맥을 활용하는 정도는 충분히 연구되지 않았습니다. 본 연구는 세 가지 QA 데이터셋(총 48개 언어)과 네 가지 LLM을 사용하여, LLM이 (i) 언어에 관계없이 관련 구절을 일관되게 사용하는 능력, (ii) 기대하는 언어로 응답하는 능력, (iii) 여러 개의 다른 언어로 된 방해 구절이 있더라도 관련 구절에 집중하는 능력을 광범위하게 평가합니다. 실험 결과, LLM은 다른 언어의 구절에서 관련 정보를 추출하는 능력은 뛰어나지만, 정확한 언어로 완전한 답변을 구성하는 능력은 상대적으로 약하다는 것을 보여줍니다. 정확도와 특징 귀속 기법을 기반으로 한 분석 결과, 방해 구절은 언어에 관계없이 답변 품질에 부정적인 영향을 미치지만, 질의 언어로 된 방해 구절이 약간 더 강한 영향을 미친다는 것을 밝힙니다.
