본 논문은 대규모 사전 훈련된 인과 관계 변환기(LLama3.2-1B-base)를 사용하여 관용구 이해의 메커니즘을 해석 가능성 도구를 통해 분석합니다. 관용구의 비 구성적인 의미는 문자 그대로의 해석과 크게 다르기 때문에 언어 모델에 독특한 과제를 제시합니다. 본 연구는 관용구 처리의 세 가지 단계(관용구의 비유적 의미 검색, 비유적 표현의 중간 경로를 통한 표현, 문자 그대로의 해석을 위한 병렬 우회 경로)를 확인하고, 특정 어텐션 헤드가 비유적 의미를 강화하고 문자 그대로의 해석을 억제하는 역할을 한다는 것을 밝힙니다. 이를 통해 자기회귀 변환기에서 관용구 이해에 대한 메커니즘적 증거를 제시합니다.
