MO-CAPO: Multi-Objective Cost-Aware Prompt Optimization

작성자

Haebom

카테고리

Empty

저자

Jan Bussing, Moritz Schlager, Timo Hei{\ss}, Tom Zehle, Matthias Feurer

💡 개요

본 논문은 성능뿐만 아니라 추론 비용까지 고려하는 다목적 프롬프트 최적화의 필요성을 제기하며, 기존 방법론의 성능 중심적 접근 방식과 비효율적인 최적화 방식을 극복하기 위해 MO-CAPO라는 새로운 알고리즘을 제안합니다. MO-CAPO는 성능과 추론 비용을 동시에 최적화하고 예산 할당을 통해 비용 효율적인 탐색을 수행하며, LLM 추론의 전체적인 계산 프로파일을 반영하는 배포 지향적인 비용 목표를 도입합니다.

🔑 시사점 및 한계

•

성능-비용 트레이드오프 탐색: MO-CAPO는 다양한 성능-비용 균형점을 가진 프롬프트 집합을 효율적으로 발견하여, 단일 목표 최적화 방법으로는 찾기 어려운 실용적인 솔루션을 제공합니다.

•

비용 효율적인 최적화: 예산 할당을 활용하여 기존 NSGA-II 기반 방법보다 훨씬 적은 예산으로도 경쟁력 있는 결과를 도출하며, 전체적인 최적화 효율성을 높입니다.

•

실용적인 평가 지표 도입: 노이즈 R2 및 근사 오차(approximation gap)와 같은 지표를 사용하여 일반화 및 강건성(robustness)을 평가함으로써, 보다 현실적인 솔루션 품질 평가가 가능해졌습니다.

•

향후 과제: 실제 LLM 배포 환경에서 MO-CAPO의 장기적인 성능과 안정성을 추가적으로 검증하고, 더욱 복잡하고 다양한 제약 조건(예: 응답 시간, 에너지 소비)을 통합하는 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage