본 논문은 대규모 언어 모델(LLM)의 실제 세계 적용 효과를 평가하기 위해 지역 특수성을 고려한 자연어 질의응답(QA) 데이터셋 구축의 필요성을 제기한다. 기존 QA 데이터셋의 부족과 지역 및 문화적 특수성을 반영한 모델 개발의 어려움을 해결하고자, 다국어 및 지역 특화 QA 데이터셋을 효율적으로 구축할 수 있는 확장 가능한 언어 독립적 프레임워크인 NativQA를 제안한다. NativQA 프레임워크를 이용하여 9개 지역, 18개 주제에 걸쳐 7개 언어(자원이 풍부한 언어부터 극도로 부족한 언어까지 포함)로 구성된 약 64,000개의 수동 주석 QA 쌍으로 이루어진 다국어 자연어 QA 데이터셋 MultiNativQA를 구축하고, 이를 통해 오픈소스 및 클로즈드소스 LLM들을 벤치마킹한다. MultiNativQA 데이터셋과 실험 스크립트를 공개하여 커뮤니티에 기여한다.
시사점, 한계점
•
시사점:
◦
지역 및 문화적 특수성을 고려한 LLM 평가 및 미세 조정을 위한 확장 가능하고 언어 독립적인 프레임워크 NativQA를 제시.
◦
다양한 언어 및 지역을 포괄하는 대규모 다국어 QA 데이터셋 MultiNativQA를 구축하고 공개.
◦
MultiNativQA 데이터셋을 활용한 다양한 LLM들의 성능 비교 분석 제공.
◦
지역 특화 LLM 개발 및 향상에 기여할 수 있는 중요한 자원 제공.
•
한계점:
◦
MultiNativQA 데이터셋의 크기가 아직 상대적으로 제한적일 수 있음. (64,000개의 QA 쌍)
◦
데이터셋의 지역 및 언어적 다양성을 더욱 확장할 필요가 있음.
◦
NativQA 프레임워크의 일반화 가능성에 대한 추가적인 연구가 필요할 수 있음.
◦
수동 주석에 의존하여 데이터셋을 구축했으므로, 주석의 일관성 및 정확성에 대한 검토가 필요할 수 있음.
