본 논문은 독일어로 된 시각 언어 모델(VLMs)의 능력을 평가하기 위해 고안된 새로운 벤치마크 데이터셋을 소개합니다. 기존 영어 기반 벤치마크들이 인위적으로 어렵거나 맥락에서 분리된 문제에 의존하는 것과 달리, 이 데이터셋은 수학, 역사, 생물학, 종교 등 9개 분야의 실제 중학교 교육과정에서 발췌한 486개 이미지를 기반으로 2,000개 이상의 개방형 질문으로 구성됩니다. 따라서 모델은 표면적인 텍스트 단서에 의존하는 것이 아니라 시각적 해석과 사실적 추론을 통합해야 합니다. 13개의 최첨단 VLMs를 다양한 측면(도메인별 정확도, 적대적 질문에 대한 성능 등)에서 평가한 결과, 최고 성능 모델조차도 전체 정확도가 45% 미만이며, 특히 음악, 수학, 적대적 설정에서 성능이 저조한 것으로 나타났습니다. 또한, 인기 벤치마크에서의 성공과 실제 다중 모드 이해 간의 상당한 차이가 있음을 보여줍니다. 결론적으로, 중학교 수준의 과제는 특히 비영어권 환경에서 VLMs를 스트레스 테스트하는 의미 있고 활용되지 않은 방법을 제공합니다. 이 데이터셋과 평가 프로토콜은 미래 AI 시스템의 시각적 및 언어적 추론 능력을 더 잘 이해하고 개선하기 위한 엄격한 테스트베드 역할을 합니다.
