본 논문은 기존의 토큰 단위 복사를 담당하는 induction head 외에, 어휘 단위 전체를 복사하는 개념 수준의 induction head를 발견했다는 연구 결과를 제시합니다. 개념 수준 induction head는 다중 토큰 단어의 끝 부분에 주의를 기울여 학습하며, 토큰 수준 induction head와 병렬적으로 의미 있는 텍스트를 복사합니다. 논문은 개념 수준 induction head가 단어 수준 번역과 같은 의미론적 작업을 담당하고, 토큰 수준 induction head는 무의미한 토큰 복사와 같이 문자 그대로 복사해야 하는 작업에 필수적임을 보여줍니다. 두 경로는 독립적으로 작동하며, 토큰 수준 induction head를 제거하면 모델이 문자 그대로 복사하는 대신 의역을 하게 됩니다. 개념 수준 induction head의 출력을 패치하여 분석한 결과, 언어와 형태에 독립적인 단어 표현을 포함하고 있음을 확인하여, 대규모 언어 모델이 언어나 형태와 무관하게 추상적인 단어 의미를 나타낸다는 것을 시사합니다.
