본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상과 다양한 도메인에서 작업 요구 사항과의 출력 정렬을 위해 잘 설계된 프롬프트의 중요성을 강조합니다. 기존의 프롬프트 최적화 방법들은 정답이나 사람의 개입과 같은 외부 참조에 크게 의존하여 실제 시나리오 적용에 한계가 있습니다. 이를 해결하기 위해 본 논문에서는 외부 참조 없이 비용 효율적인 프롬프트 최적화 프레임워크인 자기 지도 프롬프트 최적화(SPO)를 제안합니다. SPO는 LLM 출력 비교를 통해 평가 및 최적화 신호를 도출하며, LLM 평가자를 이용한 쌍별 출력 비교를 통해 우수한 프롬프트를 선택하고, LLM 최적화자를 이용하여 출력을 작업 요구 사항에 맞춥니다. 실험 결과, SPO는 기존 방법보다 비용(1.1%~5.6%)과 샘플 수(3개)를 크게 줄이면서 동등하거나 우수한 성능을 달성합니다.
