본 논문은 전이중 대화 모델에서 낮은 지연 시간을 달성하기 위해 여러 채널을 각 시간 단계에서 병합하는 네이티브 솔루션을 제시합니다. 기존의 단어 수준 정렬 방식이 언어 모델링 성능을 저하시키는 문제를 해결하기 위해, 인간의 대화 행동을 모방한 연속적인 문장과 대기 간격으로 구성된 '자연 모놀로그'를 도입합니다. 자연 모놀로그와 오디오의 의미적 정렬을 위해, 모놀로그의 위치를 바꿔가며 학습하는 이중 학습 방식을 개발하여 7B 매개변수를 가진 전이중 대화 챗봇 FLM-Audio를 개발했습니다. 실험 결과, FLM-Audio는 기존 모델보다 우수한 응답 품질과 대화 경험을 제공하며, 훨씬 적은 학습 데이터를 필요로 함을 보였습니다.
시사점, 한계점
•
시사점:
◦
네이티브 전이중 대화 모델에서 낮은 지연 시간과 높은 언어 모델링 성능을 동시에 달성 가능성 제시.
