본 논문은 카네만의 '생각에 관하여'에 나오는 "느린 사고"에서 영감을 받은 추론 대형 언어 모델(LLM)의 최근 발전을 조사합니다. OpenAI의 o1과 같은 이러한 모델은 수학 추론, 시각적 추론, 의학 진단 및 다중 에이전트 논쟁과 같은 복잡한 작업 중에 계산 리소스를 동적으로 확장하는 데 중점을 둡니다. 논문은 추론 LLM의 개발 과정과 주요 기술을 제시하며, 100편 이상의 연구를 종합하여 인간과 같은 심층적인 사고와 추론을 위한 확장 가능한 효율성을 결합하는 LLM을 향한 경로를 제시합니다. 추론 방법론을 테스트 시간 확장(검색 및 샘플링, 동적 검증을 통한 작업 복잡도에 따른 동적 계산 조정), 강화 학습(정책 네트워크, 보상 모델 및 자기 진화 전략을 활용한 반복적인 개선을 통한 의사 결정 개선), 그리고 느린 사고 프레임워크(예: 긴 사고 과정(CoT), 계층적 프로세스)의 세 가지 범주로 분류하여 설명합니다. 또한 이 분야의 과제와 향후 방향을 강조하며, 실제 응용 프로그램(과학적 발견부터 의사 결정 지원 시스템까지)에서 LLM의 잠재력을 최대한 발휘하려면 LLM의 추론 능력을 이해하고 발전시키는 것이 중요함을 강조합니다.
