본 논문은 별 모양 그래프에서 목표 노드를 찾는 '경로-별 과제'를 다룬다. 언어 모델(LM)은 시작 노드와 목표 노드를 포함한 그래프를 입력받아 목표 노드가 위치한 가지를 생성하는 과제를 수행한다. 단순한 과제임에도 불구하고, 디코더 전용 LM은 과도한 감독 학습으로 인해 단순히 확률적으로 가지를 선택하는 지름길을 학습하여 $1/D$ 이상의 성공률을 달성하지 못한다. 논문에서는 이러한 문제점의 원인을 분석하고, 디코더 전용 LM으로 과제를 해결할 수 있는 여러 해결책을 제시한다. 과제의 단순성으로 인해 과제 분해가 어렵다는 점이 어려움의 원인임을 밝히고, 제시된 해결책은 다음 토큰 예측을 통해 학습된 LM의 병리 현상과 그 의미에 대한 통찰력을 제공한다.
