본 논문은 변압기 기반 언어 모델에서 관용 표현 처리 방식을 회로 발견 및 분석을 위한 새로운 기술을 사용하여 연구합니다. 수정된 경로 패칭 알고리즘을 통해 회로를 발견하고, 관용 표현 처리가 독특한 계산 패턴을 보임을 확인합니다. 다양한 관용 표현에서 빈번하게 활성화되는 "관용 표현 헤드"를 식별하고, 초기 처리로 인한 관용 표현 토큰 간의 강화된 주의력인 "증폭된 수용"을 발견했습니다. 이러한 현상과 발견된 회로의 일반적인 특징을 분석하여 변압기가 계산 효율성과 견고성을 균형 있게 유지하는 메커니즘을 파악합니다. 궁극적으로, 이러한 발견은 변압기가 비구성적인 언어를 처리하는 방식에 대한 통찰력을 제공하며, 더 복잡한 문법 구조의 처리를 이해하기 위한 경로를 제시합니다.
