본 논문은 언어 모델의 활성화가 학습 순서를 선형적으로 인코딩한다는 것을 보여줍니다. Llama-3.2-1B 모델을 6개의 서로 다른 명명된 개체에 대한 데이터셋으로 순차적으로 미세 조정하여 학습 순서를 알고 있는 모델을 생성했습니다. 6개의 학습 데이터셋에 해당하는 테스트 샘플의 평균 활성화 벡터는 2차원 공간에 투영했을 때 학습 순서대로 정확히 정렬되고 직선 상에 위치하는 것을 발견했습니다. 또한 선형 프로브를 사용하여 "초기" 및 "후기" 개체를 약 90%의 정확도로 구별할 수 있으며, 프로브의 학습 과정에서 보지 못한 개체에도 일반화되는 것을 확인했습니다. 모델은 또한 미지의 개체의 학습 단계를 명시적으로 보고하도록 미세 조정될 수 있으며 (~80% 정확도), 이는 활성화 크기, 손실 또는 모델의 신뢰도의 단순한 차이로 설명될 수 없습니다. 이 연구는 모델이 정보 획득 시간에 따라 정보를 구분할 수 있으며, 상반되는 데이터를 관리하고 지식 수정에 반응하는 방식에 중요한 의미를 지닌다는 것을 보여줍니다.
