본 논문은 복잡한 질문에 대한 이해, 특히 장거리 의존성이나 다단계 추론이 필요한 작업에서 대규모 언어 모델(LLM)의 한계를 조사합니다. LLM의 질문 이해력 제한에 대한 세 가지 통찰력 (1) 질문 토큰 반복을 통한 이해력 향상, (2) 단방향 어텐션 제약으로 인한 역방향 의존성 증가의 부정적 영향, (3) 질문 관련 영역 우선순위 지정을 위한 어텐션 메커니즘 재보정을 통한 성능 향상을 제시합니다. 이러한 결과를 바탕으로, 단계별 읽기(SSR), SSR+, SSR++와 같은 프롬프트 기반 전략을 제안하여 LLM이 질문 토큰을 점진적으로 처리하고 입력 구조와 추론을 정렬하도록 유도하며, 여러 벤치마크에서 최첨단 결과를 달성합니다(GSM8K 96.66%, ASDiv 94.61%, AQuA 76.28%). 또한, 추론 중 어텐션 분포를 동적으로 조정하여 질문 관련 영역을 강조하는 훈련 없는 어텐션 재보정 메커니즘을 제시하여, LLaMA 3.1-8B의 AQuA 정확도를 5.17% 향상시킵니다. 결론적으로, 구조화된 프롬프트 설계 및 어텐션 최적화의 중요성을 강조하며, 다양한 NLP 작업의 성능 향상을 위한 경량이면서 효과적인 도구를 제공합니다.
