Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CTourLLM: Enhancing LLMs with Chinese Tourism Knowledge

Created by
  • Haebom

저자

Qikai Wei, Mingzhi Yang, Jinqiang Wang, Wenwei Mao, Jiabo Xu, Huansheng Ning

개요

본 논문은 중국 문화 관광 분야에 특화된 대규모 언어 모델(LLM)인 CTourLLM을 제안합니다. 기존 LLM의 관광 지식 부족 문제를 해결하기 위해, 관광 지식 데이터베이스, 여행기 데이터, 관광 QA 데이터로 구성된 Cultour라는 새로운 데이터셋을 구축하고, 이를 이용하여 Qwen 기반 모델을 지도 학습 방식으로 미세 조정했습니다. CTourLLM의 성능 평가를 위해 Relevance, Readability, Availability(RRA)라는 새로운 평가 기준을 제시하였고, 자동 및 사람 평가를 모두 수행했습니다. 실험 결과, CTourLLM은 ChatGPT보다 BLEU-1 기준 1.21, Rouge-L 기준 1.54 향상된 성능을 보였습니다. Cultour 데이터셋은 공개적으로 제공됩니다.

시사점, 한계점

시사점:
중국 문화 관광 분야에 특화된 고품질 LLM 개발 및 공개를 통해 관광 관련 서비스 향상에 기여.
새로운 데이터셋 Cultour를 구축하여 향후 연구에 활용 가능한 자원 제공.
RRA 평가 기준 제시를 통해 LLM 성능 평가의 새로운 지표 제시.
ChatGPT 대비 성능 향상을 통해 제안 모델의 효과성 검증.
한계점:
현재 중국 문화 관광 분야에만 초점을 맞추고 있어, 다른 분야로의 확장성 검토 필요.
RRA 평가 기준의 객관성 및 일반화 가능성에 대한 추가 연구 필요.
평가에 사용된 데이터셋의 규모 및 다양성에 대한 추가적인 검토 필요.
단순히 BLEU와 ROUGE 점수 향상에만 초점을 맞춘 평가 방식의 한계.
👍