본 논문은 대부분의 입력에 대해 극단적인 활성화를 보이는 마지막 계층의 이상치 차원(outlier dimensions)을 연구합니다. 많은 최신 언어 모델에서 이러한 이상치 차원이 발생하며, 그 기능이 빈번한 단어를 지속적으로 예측하는 휴리스틱(heuristic)으로 거슬러 올라간다는 것을 보여줍니다. 모델이 문맥상 적절하지 않을 때 이 휴리스틱을 차단하는 방법(나머지 차원에 역할을 하는 가중치를 할당)을 제시하고, 어떤 모델 매개변수가 이상치 차원을 증폭시키고 언제 훈련 중에 발생하는지 조사합니다. 결론적으로 이상치 차원은 유용한 토큰 예측 휴리스틱을 구현하기 위해 많은 서로 다른 모델이 발견한 특수한 메커니즘입니다.
