본 논문은 Post-training alignment가 LLM의 다양성을 감소시키는 "mode collapse" 현상의 근본적인 원인을 밝히고, 이를 해결하기 위한 간단한 prompting 전략인 Verbalized Sampling (VS)을 제안합니다. 기존 연구와 달리, 본 논문은 mode collapse를 알고리즘적 한계가 아닌, 선호도 데이터 내 "전형성 편향"이라는 데이터 수준의 근본적인 원인으로 지목합니다. 제안하는 VS는 모델이 일련의 응답에 대한 확률 분포를 언어화하도록 유도하며, 이를 통해 mode collapse를 해결합니다. 실험 결과, VS는 창의적 글쓰기, 대화 시뮬레이션, 개방형 질문 응답 및 합성 데이터 생성에서 성능을 크게 향상시켰으며, 정확성과 안전성을 저해하지 않았습니다.
