본 논문은 기초 모델(Foundation Models)이 순차 예측을 통해 심층적인 도메인 이해를 얻을 수 있다는 전제를 검증하는 방법론을 제시합니다. 케플러의 행성 운동 예측이 뉴턴 역학 발견으로 이어진 것처럼, 기초 모델이 실제로 심층 구조를 포착하는지 평가하는 것은 어려운 과제입니다. 이를 위해 연구진은 가정된 세계 모델(world model)에서 생성된 합성 데이터셋에 대한 기초 모델의 적응 방식을 분석하는 기법을 개발했습니다. 이 기법은 기초 모델의 귀납적 편향(inductive bias)이 세계 모델과 얼마나 일치하는지를 측정하며, 귀납적 편향 탐침(inductive bias probe)이라고 부릅니다. 여러 도메인에 걸쳐 실험한 결과, 기초 모델은 훈련 과제에서는 뛰어난 성능을 보이지만, 새로운 과제에 적응할 때 기저 세계 모델에 대한 귀납적 편향을 개발하는 데 실패하는 것을 발견했습니다. 특히, 궤도 궤적을 학습한 기초 모델은 새로운 물리 과제에 적용할 때 뉴턴 역학을 적용하지 못하는 것으로 나타났습니다. 추가 분석 결과, 이러한 모델은 일반화되지 않는 과제 특정 휴리스틱(heuristics)을 개발하는 것처럼 작동하는 것으로 드러났습니다.
