Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

S1-Bench: A Simple Benchmark for Evaluating System 1 Thinking Capability of Large Reasoning Models

Created by
  • Haebom

저자

Wenyuan Zhang, Shuaiyi Nie, Xinghua Zhang, Zefeng Zhang, Tingwen Liu

개요

S1-Bench는 시스템 2 사고보다는 직관적인 시스템 1 사고를 선호하는 단순한 과제에서 대규모 추론 모델(LRM)의 성능을 평가하기 위해 고안된 새로운 벤치마크입니다. 복잡한 추론 과제에서 사고의 명시적인 사슬을 통해 상당한 발전을 이루었지만, LRM은 시스템 2 사고에 크게 의존하여 시스템 1 사고 능력이 제한될 수 있습니다. S1-Bench는 다양한 도메인과 언어에 걸쳐 단순하고 다양하며 자연스러운 질문들을 포함하여 시스템 1에 더 적합한 질문에 대한 LRM의 성능을 평가하도록 특별히 설계되었습니다. 28개의 LRM에 대한 광범위한 평가를 통해 단순한 질문을 처리할 때 비효율성, 부정확성 및 제한된 견고성을 보여줍니다. 또한, 난이도 인식과 생성 길이 사이의 차이를 관찰했습니다. 전반적으로 이 연구는 LRM 개발에서 이중 시스템 호환성을 위한 길을 열어줍니다.

시사점, 한계점

시사점: 시스템 1 사고 능력 평가를 위한 새로운 벤치마크 S1-Bench 제시. LRM의 시스템 1 사고 능력의 한계점을 밝힘. LRM 개발에서 이중 시스템 호환성의 중요성 강조.
한계점: S1-Bench의 질문들이 시스템 1 사고만을 완벽하게 반영하는지에 대한 추가적인 검증 필요. 다양한 유형의 시스템 1 사고를 얼마나 포괄적으로 다루는지에 대한 추가 연구 필요.
👍