본 논문은 대규모 언어 모델(LLM)의 잠재력을 극대화하는 데 있어 프롬프트 엔지니어링의 어려움을 해결하기 위해, 특히 주관적인 품질 평가가 필요한 작업에서 명시적인 최적화 목표를 정의하는 것이 어려운 문제를 다룹니다. 기존의 자동 프롬프트 최적화 방법들은 이러한 문제에 효과적이지 못하지만, 본 논문에서는 토론 기반 평가와 Elo 기반 선택을 활용한 새로운 프롬프트 최적화 프레임워크인 DEEVO를 제시합니다. DEEVO는 지능적인 교차 및 전략적 변이 연산을 통해 의미적 일관성을 유지하면서 이산 프롬프트 공간을 탐색합니다. Elo 등급을 적합성 지표로 사용하여 프롬프트 개선과 다양성을 동시에 추구하며, 정답 피드백 없이도 열린 문제와 닫힌 문제 모두에서 기존 방법들을 능가하는 성능을 보입니다. LLM의 추론 능력과 적응형 최적화를 결합하여 사전 정의된 지표 없이도 AI 시스템을 지속적으로 개선하는 데 기여합니다.
