본 논문은 변환기(transformer)가 문맥 내 선형 회귀에서 내생성 문제를 해결하는 능력을 탐구합니다. 주요 발견은 변환기가 도구 변수(IV)를 사용하여 내생성을 효과적으로 처리하는 메커니즘을 본질적으로 가지고 있다는 것입니다. 먼저, 변환기 구조가 널리 사용되는 2단계 최소 제곱(2SLS) 해법에 기하급수적으로 수렴하는 기울기 기반 이중 수준 최적화 절차를 모방할 수 있음을 보여줍니다. 다음으로, 문맥 내 사전 훈련 방식을 제안하고 사전 훈련 손실의 전역 최소화자가 작은 과잉 손실을 달성함을 보여주는 이론적 보장을 제공합니다. 광범위한 실험을 통해 이러한 이론적 발견을 검증하여, 내생성이 존재하는 경우 훈련된 변환기가 2SLS 방법보다 더 강력하고 신뢰할 수 있는 문맥 내 예측과 계수 추정을 제공함을 보여줍니다.
