본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 최신 기술들을 종합적으로 검토한 설문 조사 논문입니다. LLM은 다양한 자연어 처리 작업에서 괄목할 만한 성공을 거두었지만, 논리적 추론, 수학적 문제 해결, 상식적 추론 및 다단계 추론에 걸친 복잡한 추론 능력은 여전히 인간의 기대에 미치지 못하고 있습니다. 논문에서는 프롬프팅 전략(예: Chain-of-Thought 추론, Self-Consistency, Tree-of-Thought 추론), 아키텍처 혁신(예: 검색 증강 모델, 모듈식 추론 네트워크, 신경 기호 통합), 학습 패러다임(예: 추론 특정 데이터 세트를 사용한 미세 조정, 강화 학습, 자기 지도식 추론 목표) 등 주요 접근 방식으로 기존 방법들을 분류합니다. 또한 LLM에서 추론을 평가하는 데 사용되는 평가 프레임워크를 살펴보고 환각, 견고성 및 다양한 작업에 걸친 추론 일반화와 같은 미해결 과제를 강조합니다. 최근의 발전을 종합하여 향후 연구 및 추론 증강 LLM의 실용적인 응용에 대한 유망한 방향에 대한 통찰력을 제공하는 것을 목표로 합니다.
