QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning
Created by
Haebom
저자
Yilun Kong, Hangyu Mao, Qi Zhao, Bin Zhang, Jingqing Ruan, Li Shen, Yongzhe Chang, Xueqian Wang, Rui Zhao, Dacheng Tao
개요
본 논문은 기존 프롬프트 최적화 방법들이 과제 수준의 성능에만 초점을 맞추고 질의 선호 프롬프트의 중요성을 간과함으로써 최적 성능을 달성하지 못하는 문제점을 지적합니다. 또한, 최적화 과정에서 LLMs와의 반복적인 상호작용에 의존하여 상당한 비용이 발생하는 문제를 제기합니다. 이에 본 논문에서는 질의 의존적 프롬프트 최적화(QPO) 방법을 제시합니다. QPO는 다중 루프 오프라인 강화 학습을 활용하여 사전 훈련된 소규모 언어 모델을 반복적으로 미세 조정하여 입력 질의에 맞춤화된 최적 프롬프트를 생성함으로써 대규모 타겟 LLM의 프롬프팅 효과를 크게 향상시킵니다. 기존의 다양한 프롬프트 벤치마킹 데이터를 활용하여 온라인 상호작용 비용을 절감하고, 각 루프에서 생성된 프롬프트를 오프라인 데이터셋에 지속적으로 추가하여 모델을 최적화합니다. 다양한 LLM 규모와 NLP 및 수학 과제에 대한 실험을 통해 제로샷 및 퓨샷 시나리오 모두에서 QPO의 효과와 비용 효율성을 입증합니다.
시사점, 한계점
•
시사점:
◦
오프라인 강화학습을 활용하여 LLM과의 상호작용 비용을 줄이고 효율적인 프롬프트 최적화를 가능하게 함.
