본 논문은 STEM 분야의 프로젝트 기반 학습(PBL)에 초점을 맞춰, 다양한 모달리티의 데이터를 처리해야 하는 PBL의 특성을 고려하여 기존 벤치마크의 한계를 지적하고 새로운 벤치마크인 PBLBench를 제시합니다. PBLBench는 자유 형식의 출력 구조와 엄격한 전문가 검증 과정을 통해 실제 교육 과제 평가에 적합하며, 특히 도메인 특화 지식과 장문맥 이해를 필요로 하는 복잡한 추론 능력을 평가하도록 설계되었습니다. 전문가의 쌍대 비교를 활용한 계층적 분석 과정(AHP)을 통해 신뢰할 수 있는 정답을 확보하고, 15개의 주요 다중 모달 대규모 언어 모델(MLLM)/LLM을 평가하여 최고 성능 모델도 59%의 정확도에 그치는 것을 보여줌으로써 PBLBench의 난이도와 중요성을 강조합니다. 궁극적으로 교사의 업무 부담을 줄이고 교육 생산성을 높이는 것을 목표로 합니다.
