본 논문은 대규모 언어 모델(LLM)의 성능을 극대화하기 위해 입력 프롬프트 최적화의 중요성을 강조하며, 특히 시스템 프롬프트의 최적화에 초점을 맞춥니다. 기존 연구가 개별 질문이나 작업에 특화된 사용자 프롬프트 최적화에 집중한 것과 달리, 본 논문은 다양한 사용자 프롬프트와 미지의 작업에 대해 강건하고 전이 가능한 시스템 프롬프트를 설계하는 이중 수준 시스템 프롬프트 최적화 문제를 새롭게 제시합니다. 이를 위해 다양한 데이터셋에서 여러 사용자 프롬프트에 걸쳐 시스템 프롬프트를 최적화하고, 동시에 반복적인 방식으로 사용자 프롬프트를 업데이트하여 시너지를 확보하는 메타러닝 프레임워크를 제안합니다. 14개의 미지 데이터셋(5개 도메인)에 대한 실험 결과, 제안된 방법이 다양한 사용자 프롬프트에 효과적으로 일반화되는 시스템 프롬프트를 생성하고, 미지의 작업에도 빠르게 적응하여 성능 향상을 달성함을 보여줍니다.
