Lost in Transmission: When and Why LLMs Fail to Reason Globally
Created by
- Haebom
Category
Empty
저자
Tobias Schnabel, Kiran Tomlinson, Adith Swaminathan, Jennifer Neville
개요
Transformer 기반 대형 언어 모델(LLM)은 입력의 많은 부분을 포함하는 복잡한 추론이 필요한 작업에서 어려움을 겪고 있습니다. 이 논문은 이러한 실패가 LLM 내 정보의 정확한 흐름에 대한 용량 제한 때문에 발생한다고 주장합니다. 이러한 문제를 공식화하기 위해, 이 논문은 LLM 내부 통신 메커니즘인 어텐션 헤드의 대역폭 제약을 모델링하는 새로운 계산 프레임워크인 bounded attention prefix oracle (BAPO) 모델을 제시합니다. 그래프 도달 가능성과 같은 몇 가지 중요한 추론 문제는 BAPO가 해결하기 위해 높은 통신 대역폭을 필요로 한다는 것을 보이며, 이러한 문제를 BAPO-hard라고 부릅니다. GPT-4o, Claude, Gemini와 같은 모델을 사용한 실험 결과는 BAPO-easy 작업에는 성공하고, 상대적으로 작은 BAPO-hard 작업에서도 실패한다는 것을 확인했습니다. 또한, 이 논문은 chain of thought (CoT)의 또 다른 이점을 밝힙니다: CoT를 사용하여 작업을 분해하면 모든 BAPO-hard 문제를 BAPO-easy 문제로 바꿀 수 있다는 것을 증명했습니다. 이 결과는 LLM 실패에 대한 원칙적인 설명을 제공하며, 대역폭 제한을 완화하는 아키텍처 및 추론 방법의 방향을 제시합니다.
시사점, 한계점
•
LLM의 추론 실패 원인을 어텐션 메커니즘의 대역폭 제한으로 분석.
•
BAPO 모델을 통해 어텐션 헤드의 대역폭 제약을 공식화.
•
BAPO-hard 문제의 존재를 밝히고, GPT-4o, Claude, Gemini 모델의 실패를 확인.
•
Chain of Thought (CoT)가 BAPO-hard 문제를 BAPO-easy 문제로 변환할 수 있음을 증명.
•
향후 아키텍처 및 추론 방법 개선 방향 제시.
•
논문의 구체적인 한계점은 명시되지 않음.
