본 논문은 사전 훈련된 모델을 특정 작업에 적용하는 주요 방법 중 하나인 프롬프팅을 베이지안 관점에서 분석합니다. 기존 프롬프팅 방법론 연구가 경험적 접근에 치중한 것과 달리, 본 논문은 최적 프롬프팅을 베이지안 예측자로 이해하고, 그 한계를 밝히며 가중치 조정을 통해 극복 가능한 부분을 제시합니다. 메타 학습된 신경망을 사전 훈련 분포에 대한 베이지안 예측자로 보고, 최적 프롬프팅을 이러한 예측자를 조건화하는 문제로 공식화하여 최적 프롬프팅이 가능한 작업과 불가능한 작업에 대한 기준을 제시합니다. LSTM과 Transformer를 이용한 실험을 통해 이론을 뒷받침하고, 토큰 사전에 없는 실수 벡터 시퀀스인 소프트 프리픽스를 사용하여 훈련된 및 훈련되지 않은 네트워크 모두에서 효과적인 프롬프트를 생성할 수 있음을 보여줍니다.
