사전 훈련된 모델을 대상 작업에 적응시키는 주요 방법 중 하나인 프롬프팅에 대한 연구입니다. 수동 프롬프트 구성 외에도, 다양한 프롬프트 최적화 방법이 제안되었지만, 개념적 이해보다는 경험적 접근에 초점을 맞추었습니다. 본 논문은 베이지안 관점을 통해 최적의 프롬프팅을 이해하는 방법을 논의하고, 이를 통해 가중치 튜닝을 통해서만 극복할 수 있는 프롬프팅의 근본적인 한계를 제시합니다. 메타 훈련된 신경망이 사전 훈련 분포에 대한 베이지안 예측자처럼 동작하며, 이는 빠른 문맥 내 적응을 특징으로 한다는 점을 자세히 설명합니다. 최적의 프롬프팅은 이러한 베이지안 예측자를 조건화하는 것으로 공식적으로 연구될 수 있으며, 이를 통해 최적의 프롬프팅이 가능한 및 불가능한 대상 작업에 대한 기준을 도출합니다. LSTM과 Transformer에 대한 실험을 통해 이론을 뒷받침하고, 서로 다른 버전의 접두사 튜닝과 가중치 튜닝 방법을 비교합니다. 또한, 실제 값을 갖는 벡터 시퀀스인 소프트 접두사가, 하드 토큰으로는 달성할 수 없는 방식으로 활성화를 조작하여, 훈련된 및 훈련되지 않은 네트워크 모두에 매우 효과적인 프롬프트를 생성할 수 있음을 확인합니다. 이는 개념적 베이지안 이론을 넘어 중요한 기계론적 측면을 더합니다.
