본 논문은 기존의 토큰 단위 복사를 담당하는 induction head 외에, 다중 토큰 단어 전체를 복사하는 개념 수준 induction head의 존재를 밝힙니다. 개념 수준 induction head는 다중 토큰 단어의 끝 부분에 집중하여 의미 있는 텍스트를 복사하며, 토큰 수준 induction head와 병렬적으로 작동합니다. 실험 결과, 개념 수준 induction head는 단어 수준 번역과 같은 의미론적 작업에, 토큰 수준 induction head는 넌센스 토큰 복사와 같이 그대로 복사해야 하는 작업에 중요한 역할을 수행함을 보여줍니다. 두 유형의 head는 독립적으로 작동하며, 토큰 수준 induction head를 제거하면 모델이 단순 복사 대신 의역을 하는 현상이 나타납니다. 따라서, 특정 작업에 토큰 수준 induction head가 필수적이지만, 개념 수준 induction head는 인 컨텍스트 학습에 더 광범위하게 관련될 수 있다고 주장합니다.
