본 논문은 기초 모델(foundation model)이 학습하는 표현(representation)에 대한 체계적인 특성 규명이 부족함을 지적하며, 이를 해결하기 위해 '맥락 구조 이론(contexture theory)'을 제시합니다. 이 이론은 다양한 표현 학습 방법들을 입력과 맥락 변수 간의 연관성 학습으로 설명하며, 많은 방법들이 맥락에 의해 유도된 기대 연산자의 상위 d개 특이 함수(singular function)를 근사하는 것을 목표로 함을 보입니다. 감독 학습, 자기 감독 학습, 다양체 학습 등 다양한 학습 패러다임에서의 표현 학습을 이 관점에서 분석하고, 맥락 구조를 학습하는 표현이 맥락과 호환되는 작업에서 최적임을 증명합니다. 또한, 모델이 상위 특이 함수를 근사할 만큼 충분히 커지면 모델 크기를 더 키워도 수익 감소 법칙(diminishing returns)이 발생하며, 더 나은 성능 향상을 위해서는 더 나은 맥락이 필요함을 시사합니다. 마지막으로, 하류 작업(downstream task)을 알지 못하는 상황에서 맥락의 유용성을 평가하는 지표를 제안하고, 실험을 통해 해당 지표가 다양한 실제 데이터셋에서 인코더 성능과 높은 상관관계를 보임을 보여줍니다.
