본 논문은 대규모 언어 모델(LLM)의 성능 향상을 위한 자동화된 프롬프트 최적화 기법인 AutoPDL을 제안한다. AutoPDL은 다양한 프롬프팅 패턴(Zero-Shot, CoT, ReAct, ReWOO 등)과 몇 가지 예시를 포함한 프롬프트 내용을 조합하는 문제를 구조화된 AutoML 문제로 정의하고, Successive Halving 기법을 이용하여 효율적으로 최적의 프롬프트 구성을 찾는다. PDL 프롬프트 프로그래밍 언어를 사용하여 구현된 프롬프팅 패턴 라이브러리를 활용하며, AutoPDL은 사람이 읽고 수정하고 실행 가능한 PDL 프로그램을 생성한다. 세 가지 작업과 7가지 LLM(30억~700억 파라미터)에 대한 평가 결과, 평균 9.21±15.46 퍼센트 포인트의 정확도 향상(최대 67.5 퍼센트 포인트)을 보였으며, 선택된 프롬프팅 전략은 모델과 작업에 따라 다름을 확인하였다.
