Uncertainty-Aware Decoding with Minimum Bayes Risk
Created by
- Haebom
Category
Empty
저자
Nico Daheim, Clara Meister, Thomas Mollenhoff, Iryna Gurevych
개요
본 논문은 최신 언어 모델이 가끔 환각된 텍스트와 같은 바람직하지 않은 출력을 생성하는 문제를 해결하기 위해, 불확실성을 적극적으로 고려하는 새로운 디코딩 방법을 제시합니다. 최소 베이즈 위험(MBR) 디코딩을 일반화하여 모델 파라미터에 대한 사후 확률을 MBR의 기대 위험 계산에 통합함으로써, 모델의 불확실성을 디코딩 과정에 반영합니다. 이를 통해 출력 선택과 생성 거부 결정 모두에 유용하며, 오버헤드 없이 성능 향상을 제공할 수 있음을 보여줍니다. 또한, 사후 확률 학습을 위한 다양한 방법들을 벤치마킹하고, 예측 다양성이 성능 향상에 기여함을 확인하며, 코드를 공개합니다.
시사점, 한계점
•
시사점:
◦
최소 베이즈 위험(MBR) 디코딩을 이용한 불확실성 인식 디코딩 방법 제시
◦
모델 불확실성을 고려하여 바람직하지 않은 출력 생성 감소
◦
출력 선택 및 생성 거부 결정에 대한 새로운 접근법 제공
◦
오버헤드 없이 성능 향상 가능성 제시
◦
예측 다양성이 성능 향상에 중요한 역할을 함을 확인
◦
코드 공개를 통한 재현성 및 확장성 확보
•
한계점:
◦
제시된 방법의 일반적인 언어 모델 및 다양한 task에 대한 적용범위 및 성능 검증 필요
◦
사후 확률 학습 방법의 최적화 및 개선 여지 존재
◦
다양한 유형의 불확실성에 대한 포괄적인 고려가 부족할 수 있음
◦
실제 응용 시스템에 적용 시 발생할 수 있는 문제점에 대한 추가적인 연구 필요
