본 논문은 대규모 언어 모델(LLM)의 성능을 향상시키는 효과적인 프롬프트를 찾는 프롬프트 최적화에 대해 다룹니다. 기존 방법들이 효과적인 프롬프트를 찾아냈지만, 전문가가 설계한 정교한 프롬프트와는 차이가 있다는 점을 지적합니다. 따라서 프롬프트 성능 향상을 위한 최적 사례인 프롬프트 설계 전략을 프롬프트 최적화 과정에 통합하는 것이 중요하다고 주장합니다. APET(Autonomous Prompt Engineering Toolbox)와 같이 다양한 프롬프트 설계 전략을 통합한 기존 방법의 한계점으로 LLM의 제한적인 최적화 능력으로 인한 비효율적인 전략 선택을 지적합니다. 이에 본 논문은 프롬프트 설계 전략의 명시적 선택 메커니즘을 구현한 OPTS(Optimizing Prompts with sTrategy Selection)를 제안합니다. 톰슨 샘플링 기반 접근 방식을 포함한 세 가지 메커니즘을 제안하고, 잘 알려진 프롬프트 최적화기인 EvoPrompt에 통합합니다. Llama-3-8B-Instruct 및 GPT-4o mini 두 LLM에 대한 BIG-Bench Hard를 사용한 실험을 통해 프롬프트 설계 전략의 선택이 EvoPrompt의 성능을 향상시키며, 특히 톰슨 샘플링 기반 메커니즘이 최상의 결과를 달성함을 보여줍니다.
