본 논문은 대규모 언어 모델(LLM)의 훈련 데이터 암기 현상에 대한 근본적인 질문, 즉 훈련 데이터의 암기 난이도를 어떻게 특징지을 수 있는가를 다룬다. OLMo라는 오픈 모델 계열을 사용한 실험을 통해, 엔트로피-암기 법칙(Entropy-Memorization Law)을 제시한다. 이 법칙은 데이터 엔트로피가 암기 점수와 선형적으로 상관관계가 있음을 시사한다. 또한, 높은 수준으로 무작위화된 문자열(gibberish)을 암기하는 사례 연구를 통해, 이러한 문자열이 외관상의 무작위성에도 불구하고 광범위한 훈련 말뭉치에 비해 예상외로 낮은 경험적 엔트로피를 보임을 관찰한다. 엔트로피-암기 법칙을 발견하는 것과 동일한 전략을 채택하여, 훈련 데이터와 테스트 데이터를 구별하는 간단하면서도 효과적인 접근 방식인 데이터셋 추론(Dataset Inference, DI)을 도출한다.
