본 논문은 대규모 언어 모델(LLM)의 성능 향상을 위한 자동화된 프롬프트 최적화 방법인 AutoPDL을 제안합니다. AutoPDL은 제로샷, 사고연쇄(CoT), ReAct, ReWOO 등 다양한 프롬프팅 패턴과 몇몇 샷 데모를 포함한 프롬프트 내용의 조합 공간을 효율적으로 탐색하기 위해 구조적 AutoML 문제로 프레임하고, successive halving 기법을 사용합니다. PDL 프롬프트 프로그래밍 언어를 이용하여 일반적인 프롬프팅 패턴을 구현하는 라이브러리를 소개하며, AutoPDL은 사람이 읽고 편집하고 실행할 수 있는 PDL 프로그램을 생성합니다. 세 가지 작업과 여섯 개의 LLM(80억~700억 매개변수)에 대한 평가 결과, 일관된 정확도 향상(평균 9.5±17.5%p, 최대 68.9%p)을 보였으며, 선택된 프롬프팅 전략은 모델과 작업에 따라 다름을 보여줍니다.
