본 논문은 대규모 언어 모델(LLM)의 문맥 내 학습(In-context learning)에서 시간적 관계가 어떻게 작용하는지 연구한다. 특히, 트랜스포머 및 상태 공간 모델을 포함한 다양한 사전 훈련된 LLM이 시간적으로 분리된 이벤트를 구별하고 검색하는 능력을 조사한다. 동일한 토큰이 여러 번 나타나는 시퀀스를 사용하여, 의미적 혼동을 제거하고 다음 토큰 예측에 대한 시간적 효과를 분리했다. 모델은 반복되는 토큰 다음에 오는 토큰에 높은 확률을 부여했지만, 입력의 시작 또는 끝에 가까운 토큰에 편향을 보였다.
