본 논문은 프롬프트 최적화의 효율성을 높이기 위해 AutoML 기법을 통합한 새로운 알고리즘 CAPO (Cost-Aware Prompt Optimization)를 제안합니다. CAPO는 LLMs를 연산자로 사용하는 진화적 접근 방식으로, 평가 횟수를 줄이기 위한 racing과 성능과 프롬프트 길이 간의 균형을 맞추기 위한 다목적 최적화를 통합합니다. 지시사항과 몇몇 예시를 공동으로 최적화하고, 작업 설명을 활용하여 강건성을 향상시킵니다. 다양한 데이터셋과 LLMs에 대한 광범위한 실험을 통해 CAPO가 최첨단 이산 프롬프트 최적화 방법보다 15개 중 11개의 경우에서 최대 21%p의 정확도 향상을 보이며 우수한 성능을 달성함을 보여줍니다. 또한 적은 비용으로도 우수한 성능을 달성하고, racing을 통해 평가 횟수를 줄이며, 길이 패널티를 통해 평균 프롬프트 길이를 줄여 비용 효율적이고 비용을 고려하는 알고리즘임을 강조합니다. 몇몇 예시 없이도 경쟁 알고리즘보다 우수한 성능을 보이며 초기 프롬프트에 대한 강건성을 유지합니다.
