본 논문은 대규모 언어 모델의 성능 향상을 위한 파인튜닝 대안으로 프롬프트 최적화에 초점을 맞추고 있습니다. 기존의 프롬프트 최적화 방법들은 전체 출력 샘플링 및 자기 비판 또는 사람의 주석 기반 선호도 평가에 의존하여 확장성이 제한적이라는 한계를 지닙니다. 본 논문에서는 토큰 단위 교차 엔트로피를 경량의 직접적인 평가 신호로 사용하는 통합 프레임워크인 PMPO(Probabilistic Metric Prompt Optimization)를 제시합니다. PMPO는 마스킹 기반 분석을 통해 저품질 프롬프트 부분을 찾아내어 반복적으로 재작성하여 개선된 변형을 제안합니다. 특히, PMPO는 평가 과정에서 단일 전방 패스에서 손실을 최소화하여 변형을 선택하며, 출력 샘플링 및 사람 기반 점수 매기기를 제거합니다. 재작성 제안에는 표준 생성을 사용합니다. 이러한 손실 기반 전략은 지도 학습 및 선호도 기반 작업 모두를 지원합니다. 다양한 모델 크기와 데이터셋에서 PMPO는 기존 프롬프트 최적화보다 우수한 성능을 보였습니다. BBH에서 가장 높은 평균 정확도를 달성했고, GSM8K 및 AQUA RAT에서도 강력한 성능을 보였으며, AlpacaEval 2.0 승률을 19% 이상 높였습니다.
