본 논문은 Transformer 모델의 해석성을 향상시키기 위해, 각 레이어에서의 토큰 분포의 샤논 엔트로피를 계산하여 엔트로피 프로파일을 생성하는 Entropy-Lens 프레임워크를 제안합니다. 기존의 latent representation 분석 대신, vocabulary space에서 직접 토큰 분포의 변화를 분석하여 모델의 계산 과정을 정보이론적 관점에서 요약합니다. 이 엔트로피 프로파일은 모델의 계산 패턴을 보여주고, 프롬프트 유형, 태스크 형식, 출력 정확도와의 상관관계를 밝히는 데 사용됩니다. 다양한 Transformer 모델과 α 값에 대해 실험을 진행하여 샤논 엔트로피의 안정성과 일반성을 검증합니다. 이는 기존의 gradient, fine-tuning, 또는 모델 내부 정보 접근 없이도 가능합니다.
