본 논문은 대규모 언어 모델(LLM)에서 발견된 내부 표현 학습 현상이 구조화된 데이터(언어, 이미지)에 국한되지 않고 물리학 기반의 파운데이션 모델에서도 나타나는지를 연구한다. 특히, 물리학 시뮬레이션 데이터셋을 사용하여 모델의 활성화 벡터를 추출하고, 서로 다른 물리적 상태 간의 "델타" 표현을 계산한다. 이러한 델타 텐서를 활성화 공간에서 개념 방향으로 활용하여 모델의 예측을 제어할 수 있으며, 특정 물리적 특성을 유도하거나 제거하는 것이 가능하다는 것을 보여준다. 이 연구는 과학 파운데이션 모델이 물리적 원리를 일반화된 방식으로 학습하며, 겉핥기식 패턴에 의존하지 않음을 시사한다.
