Probing the "Psyche'' of Large Reasoning Models: Understanding Through a Human Lens
Created by
Haebom
Category
Empty
저자
Yuxiang Chen, Zuohan Wu, Ziwei Wang, Xiangning Yu, Xujia Li, Linyi Yang, Mengyue Yang, Jun Wang, Lei Chen
개요
본 논문은 복잡한 작업을 처리하는 뛰어난 능력을 가진 대규모 추론 모델(LRM)의 "정신"을 탐구하기 위해 인간의 사고 과정을 기반으로 한 포괄적인 분류 체계를 소개합니다. 이 분류 체계는 5개의 그룹과 17개의 범주로 구성되어 LRM의 이해를 학제적 관점에서 접근합니다. 이를 통해 구축된 레이블이 지정된 데이터 세트를 사용하여 LRM을 분석하고, 훈련 및 사후 훈련 개선을 위한 실행 가능한 통찰력을 제시합니다. 또한 자동 주석 프레임워크인 CAPO를 제안하여 LLM을 활용하여 분류 기반 주석을 생성합니다.
시사점, 한계점
•
인간의 인지 과정을 기반으로 한 분류 체계를 통해 LRM의 추론 과정을 심층적으로 이해할 수 있습니다.
•
LRM의 자기 검토(self-monitoring)는 표면적이며 실질적인 개선을 거의 가져오지 못하므로, 다단계 반성을 장려하는 것이 더 효과적일 수 있습니다.
•
CAPO를 통해 분류 기반 주석을 자동화하여 LRM 분석의 확장성을 확보했습니다.
•
연구는 현재 LRM에 초점을 맞추고 있으며, 다른 모델 및 아키텍처로의 일반화 가능성은 추가 연구가 필요합니다.
•
제안된 분류 체계와 CAPO의 효과는 특정 데이터 세트 및 실험 설정에 따라 달라질 수 있습니다.
