[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Traveling Across Languages: Benchmarking Cross-Lingual Consistency in Multimodal LLMs

Created by
  • Haebom

저자

Hao Wang, Pinzhi Huang, Jihan Yang, Saining Xie, Daisuke Kawahara

개요

본 논문은 다중 모달 대규모 언어 모델(MLLM)의 실제 응용 분야에서 언어 간, 특히 문화적 지식 통합 시 일관된 성능을 달성하는 데 어려움이 있음을 지적합니다. 이 문제를 평가하기 위해 15개 언어의 문화 및 역사적 질문에 중점을 둔 시각적 질문 응답 벤치마크인 KnowRecall과 이미지 접근 없이 랜드마크 외관을 설명하는 9개 언어의 시각적 기억 일관성을 평가하는 VisRecall이라는 두 가지 새로운 벤치마크를 제시합니다. 실험 결과, 최첨단 MLLM들도 언어 간 일관성을 달성하는 데 어려움을 겪고 있음을 보여주며, 진정한 다국어 및 문화적 인식 모델을 생성하는 보다 강력한 접근 방식의 필요성을 강조합니다.

시사점, 한계점

시사점: 다국어 대규모 언어 모델의 언어 간 일관성 및 문화적 지식 통합의 중요성을 부각하고, 이를 평가하기 위한 새로운 벤치마크(KnowRecall, VisRecall)를 제시합니다. 최첨단 MLLM의 언어 간 성능 차이를 실험적으로 보여주어 향후 연구 방향을 제시합니다.
한계점: 제시된 벤치마크는 특정 영역(문화적 지식, 시각적 기억)에 집중되어 있어 MLLM의 전반적인 다국어 능력을 완전히 평가하지 못할 수 있습니다. 벤치마크에 사용된 언어의 수와 종류가 제한적일 수 있으며, 특정 문화권에 편향될 가능성이 있습니다. 또한, proprietary 모델의 성능에 대한 자세한 내용이 부족할 수 있습니다.
👍