ReasoningWeekly: A General Knowledge and Verbal Reasoning Challenge for Large Language Models
Created by
Haebom
Category
Empty
저자
Zixuan Wu, Francesca Lucchetti, Aleksander Boruch-Gruszecki, Jingmiao Zhao, Carolyn Jane Anderson, Joydeep Biswas, Federico Cassano, Arjun Guha
개요
본 논문은 전문적인 지식 없이도 이해할 수 있는 일반적인 지식을 기반으로 한 613개의 문제를 포함하는 벤치마크를 제시합니다. NPR Sunday Puzzle Challenge를 기반으로 하며, 인간과 모델 모두에게 도전적이지만, 정답 확인과 모델 오류 파악이 용이합니다. OpenAI o1 모델이 다른 모델보다 우수한 성능을 보였으며, 모델의 새로운 실패 유형을 발견했습니다.
시사점, 한계점
•
시사점:
◦
일반 지식을 기반으로 한 벤치마크를 통해 모델의 새로운 능력 격차를 발견했습니다.
◦
OpenAI o1 모델이 특정 벤치마크에서 뛰어난 성능을 보였습니다.
◦
모델의 추론 과정에서 발생하는 새로운 유형의 오류를 파악했습니다 (예: "포기" 선언, 불확실한 출력, 추론 미완료).
