Learning LLM Preference over Intra-Dialogue Pairs: A Framework for Utterance-level Understandings
Created by
Haebom
Category
Empty
저자
Xuanqing Liu, Luyang Kong, Wei Niu, Afshin Khashei, Belinda Zeng, Steve Johnson, Jon Jay, Davor Golac, Matt Pope
개요
본 논문은 대규모 언어 모델(LLM)의 우수한 성능에도 불구하고, 실시간 대화 분석에 필요한 저지연 처리 시스템 구축의 어려움으로 인해 소규모 모델의 활용이 증가하고 있음을 지적합니다. 소규모 모델 학습을 위한 고품질 데이터셋 구축의 어려움을 해결하기 위해, LLM으로 생성한 레이블과 사람의 수동 레이블을 결합하는 프레임워크를 제안합니다. 특히 발화 단위 분류 문제(의도 감지, 대화 상태 추적 등)에 초점을 맞춰, LLM 레이블링 오류를 완화하기 위한 노이즈 감소 선호 학습 손실 함수를 제시합니다. 실험 결과, 감정 감지, 대화 행위 분류 등 다양한 과제에서 정확도 향상을 확인했습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 레이블과 인간 레이블을 결합하여 소규모 모델의 정확도와 속도를 향상시키는 효과적인 방법 제시.
◦
노이즈 감소 선호 학습 손실 함수를 통해 LLM 레이블링 오류의 영향을 완화.
◦
발화 단위 대화 과제(감정 감지, 대화 행위 분류 등)에서 성능 향상을 실험적으로 검증.
•
한계점:
◦
제안된 프레임워크는 발화 단위 분류 문제에 특화되어 다른 유형의 대화 과제에는 적용이 제한적일 수 있음.
