Multi-TW: Benchmarking Multimodal Models on Traditional Chinese Question Answering in Taiwan
Created by
Haebom
저자
Jui-Ming Yao, Bing-Cheng Xie, Sheng-Wei Peng, Hao-Yuan Chen, He-Rong Zheng, Bing-Jia Tan, Peter Shaojui Wang, Shun-Feng Su
개요
본 논문은 다중 모달 대규모 언어 모델(MLLM)의 성능 및 지연 시간을 평가하기 위한 최초의 중국어 간체자 기반 벤치마크인 Multi-TW를 소개합니다. Multi-TW는 공식적인 중국어 능력 시험에서 출제된 900개의 객관식 문제 (이미지 및 텍스트, 오디오 및 텍스트 쌍)를 포함하며, 다양한 any-to-any 모델과 오디오 전사를 사용하는 VLMs을 평가하여 폐쇄형 모델이 오픈소스 모델보다 성능이 우수하지만 오픈소스 모델은 오디오 작업에서 좋은 성능을 보일 수 있음을 보여줍니다. 또한, 별도의 오디오 전사를 사용하는 VLM과 비교하여 end-to-end any-to-any 파이프라인이 명확한 지연 시간 이점을 제공함을 강조합니다. Multi-TW는 모델의 기능에 대한 포괄적인 관점을 제공하고 중국어 간체자 파인튜닝 및 효율적인 다중 모달 아키텍처의 필요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
중국어 간체자를 위한 최초의 다중 모달 모델 평가 벤치마크 Multi-TW 제시
◦
다양한 모델(any-to-any 모델, VLM 등)의 성능 및 지연 시간 비교 분석 결과 제시
◦
폐쇄형 모델과 오픈소스 모델의 성능 차이 및 오픈소스 모델의 강점 확인
◦
end-to-end any-to-any 파이프라인의 지연 시간 이점 확인
◦
중국어 간체자 파인튜닝 및 효율적인 다중 모달 아키텍처 개발 필요성 제기
•
한계점:
◦
벤치마크에 사용된 데이터셋의 규모가 상대적으로 작을 수 있음.
◦
평가 대상 모델의 종류가 제한적일 수 있음.
◦
다양한 유형의 다중 모달 데이터에 대한 일반화 성능이 명확하게 제시되지 않을 수 있음.
◦
특정 언어(중국어 간체자)에 집중되어 있어 다른 언어로의 일반화 가능성에 대한 추가 연구 필요.
