본 논문은 현대 BPE 토크나이저가 날짜를 의미 없는 조각들로 분리하는 문제점을 지적하고, 이를 해결하기 위한 연구를 제시합니다. 먼저, 날짜 분할 비율이라는 새로운 지표를 도입하여 토크나이저가 다자리 날짜 요소를 얼마나 정확하게 보존하는지 측정합니다. 그리고 세 가지 시계열 추론 작업(문맥 기반 날짜 해석, 형식 불변 퍼즐, 역사적/현대적/미래적 날짜를 포함하는 날짜 연산)을 포함하는 6500개의 예제로 구성된 DateAugBench 데이터셋을 공개합니다. 마지막으로, 계층별 조사 및 인과적 어텐션-홉 분석을 통해 대규모 언어 모델이 월, 일, 년 구성 요소의 조각들을 연결하여 시계열 추론을 수행하는 새로운 날짜 추상화 메커니즘을 발견합니다. 실험 결과, 과도한 날짜 분할은 특히 역사적 또는 미래적 날짜와 같이 드문 날짜에서 최대 10%의 정확도 저하와 상관관계가 있음을 보여줍니다. 또한, 모델이 클수록 날짜 조각을 복구하는 새로운 날짜 추상화가 더 빨리 이루어짐을 확인하고, LLM이 날짜 조각을 조합하는 추론 경로(일반적으로 년 → 월 → 일과 다름)를 관찰합니다.
