본 논문은 대규모 언어 모델(LLM)의 프롬프트 엔지니어링 연구 발전에 따라 주목받고 있는 자동 프롬프트 생성(Autoprompting) 기법에 대한 새로운 접근 방식인 DistillPrompt를 제시합니다. DistillPrompt는 학습 데이터를 활용하여 작업 특정 정보를 프롬프트에 다단계로 통합하는 LLM 기반의 autoprompting 방법입니다. 증류(distillation), 압축(compression), 집계(aggregation) 연산을 사용하여 프롬프트 공간을 더욱 철저히 탐색합니다. 텍스트 분류 및 생성 작업에 대한 다양한 데이터셋에서 t-lite-instruct-0.1 언어 모델을 사용하여 실험을 진행했으며, 기존 방법들보다 주요 지표에서 상당한 성능 향상(예: Grips 대비 전체 데이터셋에서 평균 20.12% 향상)을 보였습니다. 이는 DistillPrompt가 기울기 기반이 아닌 autoprompting 접근 방식 중 가장 효과적인 방법 중 하나임을 보여줍니다.
