본 논문은 대규모 추론 모델(LRMs)의 시스템 1 사고 능력을 평가하기 위한 새로운 벤치마크인 S1-Bench를 제안합니다. 복잡한 추론 과제에서 LRM의 성능이 향상되었지만, 이는 주로 시스템 2 사고에 의존하기 때문이며 시스템 1 사고 능력은 부족하다는 점을 지적합니다. S1-Bench는 다양한 도메인과 언어에 걸쳐 단순하고 자연스러운 질문들을 포함하며, 시스템 1 사고에 적합한 질문들을 통해 LRM의 성능을 평가합니다. 28개의 LRM을 대상으로 한 실험 결과, 단순한 질문에 대한 LRM의 비효율성, 부정확성, 낮은 견고성을 보여주었고, 난이도 인식과 생성 길이 간의 차이도 발견하였습니다. 이 연구는 LRM 개발에서 이중 시스템 호환성을 향상시키는 데 기여합니다.
