Thinking About Thinking: Evaluating Reasoning in Post-Trained Language Models

Created by

Haebom

저자

Pratham Singla, Shivank Garg, Ayush Singh, Ishan Garg, Ketan Suhaas Saichandran

💡 개요

이 연구는 최신 후처리 기법으로 강화된 거대 언어 모델(LLM)이 논리적 추론 과정에서 내부 정책을 얼마나 인지하고 활용하는지에 대한 근본적인 질문을 탐구합니다. 이를 위해 모델이 학습한 정책에 대한 인식, 타 도메인으로의 일반화 능력, 그리고 내부 추론 과정과 최종 출력 간의 일치성을 평가했습니다. 연구 결과, 강화학습으로 후처리된 모델이 지도학습 모델보다 향상된 인식과 일반화 능력을 보였으나, 추론 과정과 최종 결과 간의 일치성은 종종 부족하다는 점을 발견했습니다.

🔑 시사점 및 한계

•

후처리된 LLM의 추론 능력 평가는 단순한 성능 향상을 넘어 모델의 내부 작동 방식에 대한 이해를 심화시킵니다.

•

강화학습 기반 후처리 기법은 LLM의 정책 학습 및 일반화 능력을 향상시키는 데 효과적이지만, 투명성과 설명 가능성 확보에 대한 추가적인 노력이 필요합니다.

•

모든 후처리된 모델에서 나타나는 추론 과정과 최종 출력 간의 불일치 문제는 LLM의 신뢰성을 높이기 위한 중요한 연구 과제로 남습니다.

PDF 보기

Made with Slashpage