본 논문은 대규모 언어 모델(LLM)의 중간층 표현이 최종층 표현보다 다양한 하위 작업에서 성능이 더 우수하다는 것을 보여줍니다. 기존의 통념과 달리 초기 층이 저수준 단서만 포착한다는 믿음에 반하여, 중간층이 더 풍부한 표현을 인코딩할 수 있음을 분석을 통해 밝혔습니다. 정보 이론, 기하학, 입력 변동에 대한 불변성에 기반한 통합된 표현 품질 측정 프레임워크를 제시하여 각 층이 정보 압축과 신호 보존 사이의 균형을 어떻게 맞추는지, 그리고 중간 깊이 임베딩이 최종 층의 성능을 능가하는 이유를 밝힙니다. 다양한 아키텍처(트랜스포머, 상태 공간 모델)와 도메인(언어, 비전)에 걸쳐 32가지 텍스트 임베딩 작업에 대한 광범위한 실험을 통해 중간층이 일관되게 더 강력한 특징을 제공함을 증명하여 최종층 임베딩에 대한 표준적인 견해에 이의를 제기하고, 더욱 강력하고 정확한 표현을 위해 중간층 표현을 사용하는 새로운 방향을 제시합니다.
