본 논문은 프로젝트 기반 학습(PBL)에서 다변량 멀티모달 데이터를 처리하는 데 있어 멀티모달 대형 언어 모델(MLLM)의 잠재력을 평가하기 위한 새로운 벤치마크인 PBLBench를 소개합니다. PBLBench는 복잡한 추론과 도메인별 지식, 긴 컨텍스트 이해를 평가하도록 설계되었으며, 인간 전문가가 처리하는 작업과 유사한 과제를 제시합니다. 신뢰할 수 있는 정답을 확립하기 위해, 전문가 기반의 쌍별 비교를 통해 구조화되고 가중치가 부여된 평가 기준을 도출하는 Analytic Hierarchy Process (AHP)를 사용합니다. 15개의 주요 MLLM/LLM의 성능을 평가한 결과, 가장 진보된 모델조차 59%의 정확도를 달성하는 데 그쳐, 이 벤치마크가 제시하는 상당한 과제를 보여주었습니다. PBLBench는 AI 에이전트 개발을 촉진하여 교사의 업무 부담을 줄이고 교육 생산성을 향상시키는 것을 목표로 합니다.
