본 논문은 대규모 언어 모델(LLM)의 프롬프트 최적화 문제를 다룬다. 잘 설계된 프롬프트는 LLM의 성능에 큰 영향을 미치지만, 프롬프트 생성 및 선택에는 많은 인력이 필요하다는 한계가 있다. 이를 해결하기 위해 자동 프롬프트 최적화 연구가 진행되고 있으나, 강건성, 효율성, 일반화 능력 면에서 여전히 어려움을 겪고 있다. 본 논문은 기존 반사 기반 프롬프트 최적화 방식의 한계를 실증적으로 분석하고, 심층 학습 패러다임에서 영감을 얻은 7가지 혁신적인 프롬프트 최적화 방식(DLPO)을 제안한다. 텍스트 기반 경사도 최적화에 심층 학습 개념을 통합하여 강건성, 효율성, 일반화 능력 문제를 해결하고, 실험을 통해 검증한다. 본 연구는 프롬프트 최적화의 과제와 해결책에 대한 포괄적인 이해를 제공하고 향후 연구에 대한 지침을 제시한다. 소스 코드는 GitHub에서 공개한다.
