Intrinsic Stability Limits of Autoregressive Reasoning: Structural Consequences for Long-Horizon Execution

Created by

Haebom

저자

Hsien-Jyh Liao

💡 개요

본 논문은 대규모 언어 모델(LLM)이 장기 추론에서 성능 저하를 보이는 이유가 단순히 복잡성 때문이 아니라, 자체적으로 선행하는(autoregressive) 생성 과정 자체의 고유한 안정성 한계 때문임을 주장합니다. 제안된 이론적 분석은 추론 길이 증가에 따라 의사 결정의 이점이 기하급수적으로 감소하며, 이는 안정적인 장기 추론을 위해 추론 과정을 분할하여 그래프와 같은 구조로 관리해야 함을 시사합니다. 합성 환경 및 실제 텍스트 기반 추론 태스크에서의 실험 결과는 이러한 이론적 예측을 뒷받침하며, 기존의 장기 추론 실패 설명이 불완전함을 보여줍니다.

🔑 시사점 및 한계

•

장기 추론 능력 저하의 근본 원인을 프로세스 수준의 불안정성으로 재정의하며, 이는 LLM의 아키텍처적 한계를 드러냅니다.

•

안정적인 장기 추론을 위해서는 추론 과정을 명확하게 분할하고 그래프 구조(예: DAG)를 활용하는 '구조적 거버넌스' 접근 방식이 필요함을 제시합니다.

•

단기적 성능 평가로는 구조적 불안정성을 파악하기 어려워, 향후 연구는 단순히 모델 스케일링보다는 구조적 설계에 초점을 맞춰야 함을 강조합니다.

PDF 보기

Made with Slashpage