Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Reasoning Model is Stubborn: Diagnosing Instruction Overriding in Reasoning Models

Created by
  • Haebom

저자

Doohyuk Jang, Yoonjeon Kim, Chanjae Park, Hyun Ryu, Eunho Yang

개요

본 논문은 대규모 언어 모델(LLM)의 추론 경직성(reasoning rigidity) 문제를 다룬다. LLM은 복잡한 추론 과제에서 뛰어난 성능을 보이지만, 익숙한 추론 패턴에 과도하게 의존하여 사용자의 명시적인 지시를 무시하고 잘못된 결론에 도달하는 경향이 있다. 이는 수학 및 논리 퍼즐과 같이 제약 조건 준수가 중요한 영역에서 심각한 문제를 야기한다. 논문에서는 이러한 추론 경직성을 체계적으로 조사하기 위해 전문가가 엄선한 진단 데이터셋인 \dataset{}을 제시한다. 이 데이터셋은 AIME 및 MATH500과 같은 기존 수학 벤치마크의 변형과 익숙한 추론 전략에서 벗어나도록 의도적으로 재설계된 퍼즐을 포함한다. 데이터셋을 이용하여 모델이 익숙한 추론에 의존하여 발생하는 오류 패턴을 세 가지 유형(i) 해석 과부하, (ii) 입력 불신, (iii) 부분적 지시 주의)으로 분류하고, 추론 경직성 완화 연구를 위한 진단 데이터셋을 공개한다.

시사점, 한계점

시사점:
대규모 언어 모델의 추론 경직성 문제를 체계적으로 분석하고, 그 원인을 세 가지 유형으로 분류하여 제시.
추론 경직성 연구를 위한 새로운 진단 데이터셋 (\dataset{})을 제시하고 공개하여 후속 연구를 촉진.
LLM의 추론 과정에 대한 이해를 높이고, 추론 경직성 문제 해결을 위한 방향 제시.
한계점:
제시된 데이터셋의 범위와 일반화 가능성에 대한 추가적인 검증 필요.
추론 경직성 완화를 위한 구체적인 해결 방안 제시 부족.
다양한 종류의 LLM에 대한 실험 및 분석 결과 제시 부족.
👍