Understanding the Thinking Process of Reasoning Models: A Perspective from Schoenfeld's Episode Theory
작성자
- Haebom
카테고리
Empty
저자
Ming Li, Nan Zhang, Chenrui Fan, Hong Jiao, Yanbin Fu, Sydney Peters, Qingshu Xu, Robert Lissitz, Tianyi Zhou
개요
본 논문은 대규모 추론 모델(LRMs)의 추론 과정을 이해하기 위한 새로운 틀을 제시합니다. 기존의 인간 수학적 문제 해결에 대한 인지적 틀인 Schoenfeld의 에피소드 이론을 LRM의 추론 과정 분석에 적용하여, 모델이 생성한 수학 문제 해결 과정의 수천 개 문장과 단락에 7가지 인지적 레이블(예: 계획, 실행, 검증)을 부여했습니다. 이는 기계 추론의 세분화된 분석을 위한 최초의 공개 벤치마크이며, 대규모 주석이 달린 말뭉치와 상세한 주석 가이드북을 포함합니다. 예비 분석 결과 LRM 추론의 독특한 패턴, 예를 들어 인지 상태 간의 전이 역학 등을 밝혀냈습니다. 이 틀은 LRM 인지를 해석하기 위한 이론적으로 근거 있는 방법론을 제공하며, 더욱 제어 가능하고 투명한 추론 시스템에 대한 향후 연구를 가능하게 합니다.
시사점, 한계점
•
시사점:
◦
LRM의 추론 과정을 이해하기 위한 새로운 이론적 틀(Schoenfeld의 에피소드 이론 적용) 제시.
◦
LRM 추론 분석을 위한 최초의 공개 벤치마크 및 대규모 주석 말뭉치 제공.
◦
LRM 추론의 독특한 패턴(인지 상태 간 전이 역학 등) 발견.
◦
더욱 제어 가능하고 투명한 추론 시스템 개발 위한 기반 마련.
•
한계점:
◦
현재는 수학 문제 해결에 국한된 분석. 다른 유형의 문제 해결 과정에 대한 적용 가능성 검증 필요.
◦
예비 분석 결과만 제시. 더욱 심층적인 분석 및 검증이 필요.
◦
Schoenfeld의 에피소드 이론의 한계가 LRM 분석에도 영향을 미칠 가능성.
