본 논문은 대규모 언어 모델(LLM)의 프롬프트 최적화 효율성을 높이는 새로운 알고리즘인 CAPO(Cost-Aware Prompt Optimization)를 제안합니다. CAPO는 AutoML 기법을 통합한 진화적 접근 방식으로, 경쟁(racing)을 통해 평가 횟수를 줄이고, 성능과 프롬프트 길이 간의 균형을 맞추는 다목적 최적화를 수행합니다. 지시사항과 소수 샷 예시를 공동으로 최적화하고, 작업 설명을 활용하여 강건성을 향상시킵니다. 다양한 데이터셋과 LLM에 대한 광범위한 실험을 통해 기존 최첨단 이산 프롬프트 최적화 방법보다 11/15 경우에서 최대 21%p까지 성능 향상을 보였으며, 적은 비용으로도 우수한 성능을 달성하고, 평가 횟수를 줄이며, 평균 프롬프트 길이를 단축하여 비용 효율성을 높였습니다. 소수 샷 예시 없이도 경쟁 알고리즘을 능가하며 초기 프롬프트에 대한 강건성을 유지합니다.
