본 논문은 대부분의 입력에 대해 극단적인 활성화를 보이는 마지막 계층의 이상치 차원(outlier dimensions)을 연구합니다. 많은 최신 언어 모델에서 이상치 차원이 발생하며, 그 기능이 빈번한 단어를 지속적으로 예측하는 휴리스틱으로 거슬러 올라간다는 것을 보여줍니다. 모델이 문맥상 적절하지 않을 때 이 휴리스틱을 차단하는 방법(나머지 차원에 역할을 하는 무게를 할당)을 제시하고, 어떤 모델 매개변수가 이상치 차원을 증폭시키고 훈련 중 언제 발생하는지 조사합니다. 결론적으로 이상치 차원은 유용한 토큰 예측 휴리스틱을 구현하기 위해 많은 서로 다른 모델이 발견한 특수한 메커니즘입니다.
