대규모 언어 모델(LLM)은 다양한 작업에서 뛰어난 능력을 보이지만, 중첩된 계층 구조를 해결해야 하는 재귀적 추론 문제에는 어려움을 겪습니다. 본 논문은 길이 일반화가 아닌 깊이 일반화, 즉 중첩 수준의 한계를 탐구합니다. 표준 트랜스포머 아키텍처는 훈련에서 접하지 못한 깊은 재귀 문제를 처리하는 데 어려움을 겪으며, 이는 스택과 같은 동작을 유지하는 능력의 부족 때문입니다. 이를 해결하기 위해 본 논문은 재귀 문제를 관리 가능한 하위 구성 요소로 분해하는 새로운 루프 방식의 locate-and-replace 파이프라인을 개발합니다. 이 방식은 풀 수 있는 하위 표현식을 식별하는 로케이터와 전체 구조를 유지하면서 이러한 구성 요소를 평가하는 리플레이서의 두 가지 특수 모델을 사용합니다. 부울 대수, 재귀 산술, 명제 논리를 포함한 세 가지 도메인에서 이 방법을 평가하여, 훈련 범위를 벗어난 재귀 깊이에 대한 성능 저하를 효과적으로 완화함을 보였습니다.
