NTSEBENCH: Cognitive Reasoning Benchmark for Vision Language Models
Created by
Haebom
저자
Pranshu Pandya, Vatsal Gupta, Agney S Talwarr, Tushar Kataria, Dan Roth, Vivek Gupta
개요
NTSEBench는 인도 전국 규모의 NTSE 시험 문제를 기반으로 한 새로운 다중 모달 추론 및 문제 해결 능력 평가 데이터셋입니다. 2728개의 객관식 문제와 4642개의 이미지로 구성되며, 26가지 유형의 시각적 및 텍스트적 일반 능력 문제를 포함하여 단순 암기 학습을 넘어 지능과 비판적 사고 능력을 평가하도록 설계되었습니다. 최첨단 LLMs와 VLMs를 사용하여 데이터셋에 대한 기준 성능을 설정하고, 오픈소스 및 독점 모델 간의 비교를 용이하게 하기 위해 텍스트 및 이미지 모달리티를 처리하는 네 가지 모델링 전략을 제시합니다.
시사점, 한계점
•
시사점:
◦
인공지능 모델의 심층적 인지 능력 및 문제 해결 능력 평가를 위한 새로운 벤치마크 데이터셋 제공.
◦
다양한 모달리티(텍스트 및 이미지)를 포함하는 복잡한 추론 문제 해결 능력 평가 가능.
◦
오픈소스 및 독점 모델 간의 성능 비교를 위한 표준화된 평가 환경 제공.
•
한계점:
◦
데이터셋이 인도 NTSE 시험 문제에 기반하여 구성되어 있어, 문화적 편향이 존재할 가능성.
