Transformer 기반 언어 모델은 복잡하고 분산된 동작을 보이지만, 내부 계산은 잘 이해되지 않고 있습니다. 기존의 메커니즘 해석 가능성 방법은 어텐션 헤드와 다층 퍼셉트론(MLP) 레이어를 분리할 수 없는 단위로 취급하여, 내부에서 학습된 기능적 하위 구조의 가능성을 간과합니다. 본 연구에서는 이러한 구성 요소를 직교 특이 방향으로 분해하여 단일 헤드 또는 MLP 내에서 중첩되고 독립적인 계산을 밝히는 더욱 세분화된 관점을 제시합니다. 간접 목적어 식별(IOI), 성별 대명사(GP), 보다 큼(GT)과 같은 널리 사용되는 표준 작업에서 이 관점을 검증하여, 이전에 식별된 이름 이동기와 같은 정형 기능 헤드가 별개의 특이 방향에 맞춰 여러 겹치는 하위 기능을 인코딩함을 보여줍니다. 회로 요소로 이전에 식별된 계산 그래프의 노드는 특정 저랭크 방향을 따라 강한 활성화를 보이며, 의미 있는 계산이 컴팩트한 부분 공간에 존재함을 시사합니다. 일부 방향은 완전히 해석하기 어렵지만, 본 결과는 변압기 계산이 이전에 예상했던 것보다 더 분산되고, 구조화되고, 구성적임을 강조합니다. 이 관점은 세분화된 메커니즘 해석 가능성과 모델 내부의 더 깊은 이해를 위한 새로운 길을 열어줍니다.
