Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

PISA-Bench: The PISA Index as a Multilingual and Multimodal Metric for the Evaluation of Vision-Language Models

Created by
  • Haebom
Category
Empty

저자

Patrick Haller, Fabio Barth, Jonas Golde, Georg Rehm, Alan Akbik

개요

본 논문은 시각-언어 모델(VLMs)의 멀티모달 추론 능력을 평가하기 위한 다국어 벤치마크인 PISA-Bench를 소개합니다. PISA-Bench는 80개 이상의 국가에서 학생 역량을 평가하는 PISA 테스트의 영어 예제를 기반으로 하며, 사람에 의해 추출된 지시사항, 질문, 답변 옵션 및 이미지로 구성됩니다. 질문 유형 카테고리로 보강되었으며, 영어에서 스페인어, 독일어, 중국어, 프랑스어 및 이탈리아어 등 5개 언어로 번역되어 총 6개 언어의 완전 병렬 코퍼스를 형성합니다. 연구 결과, 특히 작은 모델(<200억 파라미터)이 높은 점수를 얻는 데 실패했으며, 비영어권 언어에서 상당한 성능 저하와 공간 및 기하학적 추론에서 높은 오류율을 보였습니다.

시사점, 한계점

•
시사점:
◦
다국어 멀티모달 추론 연구를 위한 새로운 벤치마크 제공.
◦
전문가가 생성한 고품질 데이터 사용.
◦
6개 언어 지원으로 다국어 모델 평가 가능.
◦
특히 작은 모델의 성능 격차를 확인하여 개선 방향 제시.
◦
공간 및 기하학적 추론에서의 약점 발견.
•
한계점:
◦
논문에서 구체적인 한계점이 명시되어 있지 않음.
👍
Made with Slashpage