본 논문은 가중치가 고정된 최소한의 Transformer가 문맥 내 프롬프팅을 통해 광범위한 알고리즘을 에뮬레이션할 수 있음을 증명합니다. 특히, 태스크별 모드에서 단일 헤드 소프트맥스 어텐션 레이어가 임의의 정밀도로 $f(w^\top x - y)$ 형태의 함수를 재현할 수 있음을 보이며, 이는 그래디언트 디센트, 선형 회귀 등 많은 머신러닝 알고리즘을 포함합니다. 또한, 프롬프트 프로그래밍 가능 모드에서 단일 고정 가중치 2계층 소프트맥스 어텐션 모듈이 프롬프팅만으로 태스크별 클래스의 모든 알고리즘을 에뮬레이션할 수 있음을 증명합니다. 핵심 아이디어는 알고리즘의 매개변수를 토큰 표현으로 인코딩하는 프롬프트를 구성하여 소프트맥스 어텐션이 의도된 계산을 따르도록 하는 것입니다.
