본 논문은 대규모 언어 모델(LLM)의 프롬프트 최적화 문제를 해결하기 위해 기존의 반성 기반 프롬프트 최적화 방식의 한계를 분석하고, 심층 학습 패러다임에서 영감을 얻은 7가지 혁신적인 접근 방식을 제안합니다. 이러한 접근 방식은 텍스트 기반 경사도 최적화에 심층 학습 개념을 통합하여 강건성, 효율성, 일반화 능력을 향상시키는 것을 목표로 합니다. 실험을 통해 제안된 방법들의 효과를 검증하고, 프롬프트 최적화 연구에 대한 통찰력을 제공합니다. 소스 코드는 공개되어 있습니다.
시사점, 한계점
•
시사점:
◦
기존 반성 기반 프롬프트 최적화의 한계를 밝히고, 심층 학습 기반 프롬프트 최적화(DLPO)의 새로운 패러다임을 제시합니다.
◦
7가지 혁신적인 접근 방식을 통해 프롬프트 최적화의 강건성, 효율성 및 일반화 능력을 향상시킬 수 있는 가능성을 보여줍니다.
