대규모 언어 모델(LLM)은 특정 작업 벤치마크에서 뛰어난 성능을 보이지만, 이러한 성공을 이끄는 메커니즘은 잘 알려지지 않았다. 본 논문은 LLM이 정보를 어떻게 처리하는지에 초점을 맞춘다. 특히, 모델의 인지 프로파일을 정량적으로 구축하는 작업 독립적인 방법을 제시한다. 이 프로파일은 모델의 정규화된 예측 불확실성을 맥락 길이가 증가함에 따라 나타내는 엔트로피 감쇠 곡선을 기반으로 한다. 다양한 최첨단 LLM과 텍스트를 대상으로 한 실험에서, 이 곡선은 모델 규모와 텍스트 복잡성에 따라 특징적이고 안정적인 프로파일을 보여주었다. 또한, 감쇠 패턴의 바람직함을 요약하는 단일 지표로 정보 획득 범위(IGS)를 제안한다. 이러한 도구들은 현대 AI 시스템의 내부 역학을 분석하고 비교하는 데 원칙적인 방법을 제공한다.
