본 논문은 대규모 언어 모델(LLM)의 잠재력을 최대한 활용하는 데 있어 프롬프트 엔지니어링의 어려움을 해결하기 위해 DEEVO(DEbate-driven EVOlutionary prompt optimization) 프레임워크를 제시합니다. DEEVO는 주관적인 품질 평가가 필요한 복잡한 작업에서 명시적인 최적화 목표를 정의하기 어려운 문제를 해결하기 위해, Elo 기반 선택을 활용한 논쟁 기반 평가를 통해 프롬프트 진화를 유도합니다. 기존의 자동 프롬프트 최적화 방법과 달리, DEEVO는 논쟁 기반 피드백을 통합하여 지능적인 교차 및 전략적 돌연변이 연산을 통해 의미적 일관성을 유지하면서 이산 프롬프트 공간을 탐색합니다. Elo 등급을 적합성 대리 지표로 사용하여 개선을 추진하는 동시에 프롬프트 집단의 다양성을 유지합니다. 실험 결과, DEEVO는 정답 피드백 없이도 개방형 작업과 폐쇄형 작업 모두에서 수동 프롬프트 엔지니어링 및 다른 최첨단 최적화 방법을 능가하는 성능을 보여줍니다. LLM의 추론 능력과 적응형 최적화를 결합하여 미리 정의된 지표 없이 AI 시스템을 지속적으로 개선하는 프롬프트 최적화 연구에 중요한 발전을 제시합니다.
