본 논문은 대규모 언어 모델(LLM) 기반 코드 생성에서 프롬프트 엔지니어링 자동화를 위한 새로운 솔루션인 확산 기반 프롬프트 튜닝(DDPT)을 제안합니다. DDPT는 가우시안 노이즈로부터 최적의 프롬프트 임베딩을 생성하는 방법을 학습하여 코드 생성을 위한 프롬프트 엔지니어링을 자동화합니다. 확산 기반 최적화의 실현 가능성을 평가하고, 최적의 프롬프트 임베딩을 최적 임베딩을 향한 방향 벡터로 추상화합니다. LLM에서 제공하는 코드 생성 손실을 사용하여 훈련 중 최적 프롬프트 임베딩의 분포를 포착하도록 확산 모델을 학습시킵니다. 훈련된 확산 모델은 샘플링 단계에서 노이즈 분포에서 최적 분포로의 경로를 생성하며, 평가 결과 DDPT가 코드 생성에 대한 프롬프트 최적화를 개선하는 데 도움이 됨을 보여줍니다.
