본 논문은 대규모 언어 모델(LLM)이 사전 학습 데이터의 의미론에 의해 영향을 받는다는 기존 연구를 바탕으로, LLM이 문맥 내 학습 능력을 통해 사전 학습된 의미론을 변경하여 문맥에 맞는 대안적인 의미론을 채택하는지 여부를 조사합니다. "그래프 추적"이라는 간단한 작업을 통해, 사전 학습 과정에서 학습된 개념(예: 사과, 새)을 노드로, 미리 정의된 구조(예: 정사각형 격자)를 연결성으로 하는 그래프에서 랜덤 워크의 흔적을 보여주는 예시를 제공합니다. 실험 결과, 문맥의 크기가 증가함에 따라 모델의 중간 표현이 사전 학습된 의미론적 표현에서 그래프 구조와 정렬된 문맥 내 표현으로 갑작스럽게 재구성됨을 발견했습니다. 또한, 참조 개념 간에 의미론적 상관관계(예: 월요일, 화요일)가 있을 경우, 문맥 특정 그래프 구조는 표현에 여전히 존재하지만 사전 학습된 구조를 지배하지 못함을 확인했습니다. 이러한 결과를 설명하기 위해 미리 정의된 그래프 토폴로지에 대한 에너지 최소화에 비유하여, 문맥 특정 의미론을 추론하기 위한 암시적 최적화 과정을 제시합니다. 결론적으로, 문맥 크기를 조절하는 것이 모델 표현을 유연하게 재구성하여 새로운 기능을 가능하게 할 수 있음을 시사합니다.
