본 논문은 대규모 언어 모델(LLM)의 출력 품질을 향상시키기 위한 새로운 프롬프트 최적화 프레임워크인 PLHF(Prompt Learning with Human Feedback)를 제안합니다. 기존의 프롬프트 최적화 방법들은 정답이 명확한 문제에 대해서는 효과적이지만, 정답을 명확히 판단하기 어려운 경우에는 측정 지표를 정의하는 데 어려움이 있습니다. PLHF는 RLHF 기법에서 영감을 얻어, 인간의 피드백을 활용하여 출력 품질을 평가하는 평가자 모듈을 사용합니다. 단 한 번의 인간 피드백만으로 프롬프트 최적화를 완료하며, 공개 및 산업용 데이터셋에서 기존 방법보다 우수한 성능을 보입니다.
