본 논문은 언어 모델(LM)이 일대다 사실적 질문(예: 특정 국가의 도시 목록)에 답변하는 과정을 분석합니다. 다양한 데이터셋, 모델, 프롬프트를 통해 LM이 "촉진-억제(promote-then-suppress)" 메커니즘을 사용하여 먼저 모든 답변을 떠올린 후 이미 생성된 답변을 억제함을 밝힙니다. 구체적으로, LM은 주어와 이전 답변 토큰을 모두 사용하여 지식을 회상하며, 어텐션은 주어 정보를 전파하고 MLP는 답변을 촉진합니다. 그런 다음 어텐션은 이전 답변 토큰에 주목하여 억제하고, MLP는 억제 신호를 증폭합니다. 토큰 렌즈와 녹아웃 기법을 사용한 실험적 증거를 통해 이 메커니즘을 입증합니다. 결론적으로, LM의 내부 구성 요소가 다양한 입력 토큰과 어떻게 상호 작용하여 복잡한 사실적 회상을 지원하는지에 대한 새로운 통찰력을 제공합니다.
