본 논문은 대규모 언어 모델(LLM)의 사후 훈련 방법으로서 지도 미세 조정과 강화 학습이 모델의 성능 향상에는 기여하지만, 출력 다양성을 감소시켜 좁고 전형적인 응답을 유발한다는 문제점을 지적합니다. 기존의 다양성 향상 방법들은 추론 시점에서 작동하거나 어휘적 차이에만 집중하는 한계가 있습니다. 이에 본 논문에서는 결정점 과정(DPP)을 기반으로 한 새로운 훈련 방법인 DQO를 제안합니다. DQO는 각 프롬프트에 대한 여러 응답을 샘플링하고 임베딩하여, 이러한 응답들의 임베딩이 차지하는 부피를 측정함으로써 다양성을 측정합니다. 다양한 작업(지시 따르기, 요약, 이야기 생성, 추론)에 대한 실험을 통해 DQO가 모델의 품질을 떨어뜨리지 않고 의미적 다양성을 크게 향상시킨다는 것을 보여줍니다.
