본 논문은 Transformer 모델의 내부 표현 유사성 분석에 초점을 맞추고 있습니다. 기존의 고차원 표현 유사성 분석 방법(예: CKA)이 데이터 점 집합의 통계적 특성에 의존하는 것과 달리, 본 논문은 개별 Transformer의 은닉층 간 표현 유사성을 간단한 샘플별 코사인 유사도 측정법으로 분석합니다. 실험 결과, 층 간 표현은 양의 상관관계를 가지며, 층이 가까울수록 유사성이 증가함을 보였습니다. 이는 학습된 Transformer에 대한 측지선 곡선 가정 하에 이론적으로 정당화됩니다. 또한, 표현 유사성 증가는 마지막 층 분류기를 은닉층 표현에 직접 적용할 때 예측 확률 증가를 의미함을 보입니다. 마지막으로, 내부 표현 유사성을 높이는 정렬된 학습 방법을 제안하여, (1) 조기 포화 이벤트 증가, (2) 계층별 정확도의 단조 증가 및 해당 작업에 필요한 최소 깊이 밝힘, (3) 얕은 층에서 조기 종료를 위해 설계된 추가 분류기가 없는 다중 출구 모델에서 표준 다중 출구 아키텍처와 동등한 성능 달성 등의 특징을 갖는 모델을 학습합니다. 본 연구는 다중 출구 모델에 하나의 공통 분류기가 충분함을 보여주는 최초의 연구입니다. 이러한 제안된 정렬된 학습 방법의 성능을 시각 및 NLP 작업에 대한 실험으로 입증합니다.
