Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models

Created by
  • Haebom

저자

Tingchen Fu, Jiawei Gu, Yafu Li, Xiaoye Qu, Yu Cheng

개요

본 논문은 대규모 언어 모델(LLM)의 수리 추론 능력과 지시사항 준수 능력 간의 상충 관계를 탐구합니다. 복잡한 수학 문제 해결 능력이 뛰어난 최신 모델들도 자연어 지시사항을 따르는 데 어려움을 겪는다는 점을 지적하며, 이를 평가하기 위한 새로운 벤치마크 MathIF를 제시합니다. 실험 결과, 추론 능력 향상을 위해 모델을 확장할수록 지시사항 준수 능력이 저하되는 경향을 보이며, 특히 생성 길이가 길어질수록 그 경향이 심해짐을 밝힙니다. 간단한 조정을 통해 지시사항 준수 능력을 일부 회복할 수 있지만, 그럴 경우 추론 성능이 저하되는 트레이드오프가 발생합니다. 본 연구는 현재 LLM 훈련 방식의 근본적인 한계를 지적하고, 지시사항을 더 잘 고려하는 추론 모델의 필요성을 강조합니다. MathIF의 코드와 데이터는 공개적으로 제공됩니다.

시사점, 한계점

시사점:
LLM의 수리 추론 능력과 지시사항 준수 능력 간의 상충 관계를 명확히 밝힘.
수리 추론 문제에서의 지시사항 준수 능력 평가를 위한 새로운 벤치마크 MathIF 제시.
LLM 훈련 방식 개선을 위한 새로운 연구 방향 제시 (지시사항 인지 능력 향상).
LLM의 생성 길이와 지시사항 준수 능력 간의 상관관계 제시.
한계점:
MathIF 벤치마크가 수학 문제에만 집중되어 있어 다른 영역으로의 일반화 가능성은 제한적일 수 있음.
지시사항 준수 능력 회복을 위한 간단한 조정의 효과가 제한적이며, 보다 효과적인 해결책이 필요함.
본 연구에서 제시된 간단한 조정은 추론 성능 저하를 야기하므로, 추론 능력과 지시사항 준수 능력을 동시에 향상시키는 새로운 훈련 방법론이 필요함.
👍
You do not have permission to write comments