Incremental Summarization for Customer Support via Progressive Note-Taking and Agent Feedback
Created by
Haebom
저자
Yisha Wu, Cen Mia Zhao, Yuanpei Cao, Xiaoqing Su, Yashar Mehdad, Mindy Ji, Claire Na Cheng
개요
고객 지원 상담원들을 위한 점진적 요약 시스템을 소개한다. 이 시스템은 대화 중에 간결한 요점을 지능적으로 생성하여 상담원의 문맥 전환 노력을 줄이고 불필요한 검토를 줄인다. Fine-tuned Mixtral-8x7B 모델을 사용하여 지속적인 노트 생성을 수행하고, DeBERTa 기반 분류기를 통해 사소한 내용을 필터링한다. 상담원의 편집은 온라인 노트 생성과 오프라인 모델 재학습에 영향을 미쳐 상담원 편집 피드백 루프를 형성한다. 실제 운영 환경에서 시스템은 일괄 요약 방식에 비해 사례 처리 시간을 3% 단축했으며, 복잡한 사례의 경우 최대 9%까지 단축했다. 또한 설문 조사에서 높은 상담원 만족도를 얻었다.
시사점, 한계점
•
점진적 요약 시스템은 요약 품질과 상담원 생산성을 효과적으로 향상시킨다.
•
Mixtral-8x7B 모델과 DeBERTa 기반 분류기를 결합하여 효율적인 요약 생성 및 필터링을 수행한다.