본 논문은 대규모 사전 훈련된 인과 변환기(LLama3.2-1B-base)를 이용하여 관용구 이해 과정을 기계적 해석 가능성(mechanistic interpretability) 관점에서 분석합니다. 관용구는 비 구성적인 비유적 의미를 가지므로, 모델은 비유적 의미와 문자적 의미 중 어느 것을 선택할지 결정해야 하는 어려움을 가집니다. 연구진은 관용구 처리 과정을 세 단계로 나누어 분석하는데, 첫째, 초기 어텐션과 MLP 서브레이어에서 비유적 의미가 검색되고 특정 어텐션 헤드가 비유적 의미를 강화하고 문자적 의미를 억제하는 것을 확인합니다. 둘째, 중간 경로를 통해 비유적 의미가 표현됩니다. 셋째, 문자적 해석을 전달하는 병렬 우회 경로가 존재하여 두 가지 해석 모두 이용 가능하게 합니다. 결론적으로, 본 연구는 자기 회귀 변환기에서 관용구 이해에 대한 기계적 증거를 제공합니다.
