To Think or Not To Think, That is The Question for Large Reasoning Models in Theory of Mind Tasks

Created by

Haebom

저자

Nanxu Gong, Haotian Li, Sixun Dong, Jianxun Lian, Yanjie Fu, Xing Xie

💡 개요

본 연구는 대규모 추론 모델(LRM)이 수학 및 코딩과 같은 분야에서 보여준 단계별 추론 능력이 사회인지 능력, 특히 마음 이론(ToM) 작업으로 확장될 수 있는지 탐구합니다. 아홉 가지 최신 LLM을 대상으로 추론 모델과 비추론 모델을 비교한 결과, 추론 모델이 항상 더 나은 성능을 보이거나 오히려 성능이 저하되는 경우도 있음을 발견했습니다. 이는 LRM의 일반적인 추론 능력이 ToM과 같은 사회적 추론 작업으로 직접적으로 이전되지 않음을 시사합니다.

🔑 시사점 및 한계

•

LRM의 단계별 추론 능력은 ToM 작업에서 일관되게 이점을 제공하지 못하며, 추론 길이 증가 시 성능이 저하되는 '느린 사고 붕괴(slow thinking collapse)' 현상이 나타납니다.

•

추론 길이를 제한하거나 동적으로 적응시키는 것이 ToM 작업의 성능 향상에 도움이 될 수 있습니다.

•

현재 LRM은 진정한 연역적 추론보다는 객관식 선택지를 매칭하는 '옵션 매칭 바로가기(option matching shortcut)'에 의존하는 경향이 있습니다.

•

LRM의 형식적 추론 능력이 사회적 추론 능력으로 완전히 이전되지 않으므로, 견고한 ToM 능력을 위해서는 기존 추론 방식을 넘어서는 고유한 역량 개발이 필요합니다.

PDF 보기

Made with Slashpage