본 논문은 언어 모델이 비구성적인 비유적 해석을 가진 관용구를 어떻게 처리하는지 인과 추적을 통해 분석한다. 특히, 사전 훈련된 인과적 변환기가 관용구의 모호성을 처리하는 세 가지 메커니즘을 밝혀냈다: (i) 초기 하위 계층 및 특정 어텐션 헤드가 관용구의 비유적 해석을 검색하고 문자적 해석을 억제한다. (ii) 문맥이 관용구보다 먼저 나타나면, 모델은 가장 초기의 계층부터 이를 활용하고, 이후 계층에서 문맥이 검색된 해석과 충돌하는 경우 해석을 개선한다. (iii) 선택적이고 경쟁적인 경로를 통해 두 가지 해석을 모두 전달하는데, 중간 경로는 비유적 해석을 우선시하고 병렬 직접 경로는 문자적 해석을 선호하여 두 가지 해석이 모두 유지되도록 한다.
