PhysUniBench: An Undergraduate-Level Physics Reasoning Benchmark for Multimodal Models
Created by
Haebom
저자
Lintao Wang, Encheng Su, Jiaqi Liu, Pengze Li, Peng Xia, Jiabei Xiao, Wenlong Zhang, Xinnan Dai, Xi Chen, Yuan Meng, Mingyu Ding, Lei Bai, Wanli Ouyang, Shixiang Tang, Aoran Wang, Xinzhu Ma
개요
PhysUniBench는 학부 수준의 물리 문제 해결 능력을 평가하기 위해 고안된 대규모 다중 모드 벤치마크입니다. 8개 주요 물리학 하위 분야를 다루는 3,304개의 문제 (각 문제당 하나의 시각적 다이어그램 포함)와 서술형 및 객관식 문제를 포함하며, 반복적인 모델-루프 프로세스를 통해 난이도 등급이 매겨졌습니다. 현존 최고 성능 모델들조차도 다단계 문제나 정확한 다이어그램 해석을 요구하는 문제에서 어려움을 겪는다는 것을 보여주며, 특히 GPT-4o mini는 약 34.2%의 정확도를 달성했습니다. 이 벤치마크는 과학 분야 AI 발전을 촉진하고 물리적 추론, 문제 해결 능력 및 다중 모드 이해력이 향상된 모델 개발을 장려하는 것을 목표로 합니다.
시사점, 한계점
•
시사점: 학부 수준 물리 문제 해결 능력을 종합적으로 평가할 수 있는 새로운 벤치마크 제공, 현존 최고 수준의 다중 모드 거대 언어 모델(MLLM)의 물리 추론 능력의 한계를 명확히 제시, 과학 분야 AI 발전을 위한 새로운 연구 방향 제시.
•
한계점: 벤치마크의 문제 구성 및 난이도 평가 과정의 주관성 가능성, 현재 벤치마크에서 평가된 모델의 성능이 모든 MLLM의 성능을 대표하지 않을 수 있음, 실제 물리학 교육 과정과의 완벽한 일치 여부에 대한 검증 필요.
