본 논문은 장기간에 걸친 시간적 정렬 문제를 겪는 대규모 언어 모델(LLM)의 한계를 다룹니다. LLMs는 수천 년에 걸친 시간 정보가 드문 방대한 데이터로 학습되기 때문에, 충분한 학습이 이루어지지 않거나 catastrophic forgetting이 발생합니다. 이를 해결하기 위해, 논문에서는 'Ticktack'이라는 방법론을 제안합니다. Ticktack은 그레고리력 대신 60갑자를 이용하여 연도의 분포를 균일하게 하고, 극좌표를 사용하여 60갑자 주기와 각 주기 내 연도 순서를 모델링하며, 추가적인 시간적 인코딩을 통해 LLM이 이를 이해하도록 합니다. 또한, 사후 학습된 LLM을 위한 시간적 표현 정렬 방식을 제시하여 관련 지식을 가진 시점을 효과적으로 구분하고, 특히 장기간에 걸친 시간 관련 작업의 성능을 향상시킵니다. 마지막으로, 장기간에 걸친 성능 평가를 위한 벤치마크를 제시하고 실험 결과를 통해 제안된 방법의 효과를 증명합니다.
