본 논문은 기존 언어 모델의 디코딩 전략이 출력 다양성 저하, 반복적인 텍스트 생성, 정확성 저하 등의 문제를 야기한다는 점을 지적하고, 이를 해결하기 위한 새로운 디코딩 방법인 DiffSampling을 제안합니다. DiffSampling은 토큰 확률 분포의 수학적 분석을 활용하여 문맥에 적합한 텍스트 생성을 보장하며, 특히 연속적인 정렬된 확률 간의 차이를 이용하여 잘못된 토큰을 제거합니다. 또한, 기존 샘플링 전략의 미묘한 불일치를 해결하기 위한 두 가지 변형 방법도 제시합니다. 네 가지 텍스트 생성 작업에 대한 실험 결과, DiffSampling은 기존 방법들과 비교하여 품질 측면에서 동등 이상의 성능을 보이며, 출력 다양성을 개선할 가능성을 보여줍니다.
