본 논문은 사전 훈련된 거대 언어 모델(LLM)이 컨텍스트 학습(ICL)을 통해 잠재적 마르코프 구조를 가진 순차 데이터를 모델링하는 기본 도구인 은닉 마르코프 모델(HMM)을 효과적으로 모델링할 수 있음을 보여줍니다. 다양한 합성 HMM 집합에서 LLM은 이론적 최적값에 근접하는 예측 정확도를 달성하며, HMM 특성에 의해 영향을 받는 새로운 스케일링 추세를 밝히고 이러한 경험적 관찰에 대한 이론적 추측을 제공합니다. 또한 과학자들에게 ICL을 복잡한 데이터의 진단 도구로 사용하기 위한 실용적인 지침을 제공합니다. 실제 동물 의사 결정 작업에서 ICL은 인간 전문가가 설계한 모델과 경쟁력 있는 성능을 달성합니다. 본 연구는 ICL이 HMM 생성 순차를 학습하고 예측할 수 있음을 최초로 입증하며, LLM에서 컨텍스트 학습에 대한 이해를 심화시키고 복잡한 과학 데이터에서 숨겨진 구조를 밝히는 강력한 도구로서의 잠재력을 확립합니다.
