본 논문은 소수 샷 사고 연쇄(Few-shot Chain-of-Thought, CoT)가 대규모 언어 모델(LLM)의 추론 능력을 향상시키지만, CoT 데모 내의 특정 단어나 토큰이 LLM의 생성 과정을 방해할 수 있다는 점을 발견했습니다. 모델이 데모의 특정 국소 정보에 과도하게 집중하여 추론 과정에 무관한 노이즈를 유입시켜 잘못된 답변을 초래할 수 있습니다. 이를 해결하기 위해, 본 논문은 각 출력 단계에서 LLM의 내부 동작을 동적으로 추적하고 조작하여 CoT의 기본 메커니즘을 조사합니다. 특정 어텐션 특성을 보이는 토큰이 모델이 문맥을 벗어나게 할 가능성이 더 높다는 것을 보여주며, 이러한 토큰은 비국소 정보의 통합 없이 예측과 관련된 은닉 상태에 직접적으로 어텐션을 집중합니다. 본 논문은 이러한 통찰력을 바탕으로, 데모의 어텐션 패턴을 동적으로 분석하여 이러한 토큰을 정확하게 식별하고, 어텐션 가중치를 목표 지향적으로 조정하여 LLM에 대한 방해 효과를 효과적으로 억제하는 소수 샷 어텐션 개입(Few-shot Attention Intervention, FAI) 방법을 제안합니다. 여러 벤치마크에 대한 포괄적인 실험은 기준 방법에 비해 일관된 개선을 보여주며, AQuA 데이터셋에서 5.91%의 놀라운 향상을 보여줍니다.
