Multi-Party Supervised Fine-tuning of Language Models for Multi-Party Dialogue Generation
Created by
Haebom
저자
Xiaoyu Wang, Ningyuan Xi, Teng Chen, Qingqing Gu, Yue Zhao, Xiaokai Chen, Zhonglin Jiang, Yong Chen, Luo Ji
개요
본 논문은 기존의 쌍방향 대화에 초점을 맞춘 대규모 언어 모델(LLM)의 한계를 극복하고자 다자 대화(MPD)에 특화된 미세 조정 프레임워크인 MuPaS를 제안합니다. MuPaS는 다자 대화 데이터셋을 사용하여 LLM을 미세 조정함으로써 다자 대화 스타일을 효율적이고 효과적으로 학습시킵니다. 두 가지 훈련 전략을 통해 MuPaS를 MPD 시뮬레이터로 활용할 수 있도록 설계되었으며, 실험 결과 MuPaS는 최첨단의 다자 대화 응답 생성, 향상된 다음 화자 예측 정확도, 높은 품질의 발화 생성(인간 및 자동 평가 기준) 및 분포 외 상황, 주제, 역할 설명에 대한 적절한 응답 생성 능력을 보여줍니다. MuPaS 프레임워크는 대화 생성, 가상 리허설 또는 메타버스와 같은 복잡한 다자 대화 애플리케이션과 LLM 훈련을 연결하는 역할을 합니다.
시사점, 한계점
•
시사점:
◦
다자 대화에 효과적인 LLM 미세 조정 프레임워크(MuPaS) 제시
◦
다자 대화 응답 생성, 다음 화자 예측, 발화 품질 향상
◦
분포 외 상황에도 적절한 응답 생성 가능성 제시
◦
다양한 다자 대화 애플리케이션(대화 생성, 가상 리허설, 메타버스 등)에의 적용 가능성 확장
•
한계점:
◦
본 논문에서 제시된 MuPaS 프레임워크의 실제 다자 대화 시스템 적용 및 확장성에 대한 추가적인 연구 필요
◦
다양한 규모와 유형의 다자 대화 데이터셋에 대한 일반화 성능 검증 필요
◦
다자 대화에서 발생할 수 있는 복잡한 상황(예: 중복 발화, 화제 전환 등)에 대한 처리 능력에 대한 추가적인 평가 필요
