본 논문은 GPT-4o의 성능에 영감을 받아, 자연스러운 음성 대화를 가능하게 하는 음성 언어 모델(SLM)에 대한 연구를 다룹니다. 기존 SLM들이 단일 채널 음성 데이터를 사용하는 한계를 극복하고자, 이중 채널 음성 데이터를 활용하여 대화의 구조와 역동성을 포착하는 새로운 생성 모델링 패러다임인 Next-Token-Pair Prediction (NTPP)을 제시합니다. 디코더 전용 아키텍처를 사용하여 화자 독립적인 이중 채널 음성 대화 학습을 가능하게 하였으며, 기존 방법보다 턴 교대 예측, 응답 일관성, 자연스러움 측면에서 SLM의 대화 능력을 크게 향상시켰습니다. 또한, 추론 지연 시간이 상당히 짧아 실시간 응용에 효율적임을 보였습니다.
시사점, 한계점
•
시사점:
◦
이중 채널 음성 데이터를 활용하여 SLM의 대화 능력을 향상시키는 새로운 방법(NTPP) 제시.
◦
디코더 전용 아키텍처를 사용하여 화자 독립적인 이중 채널 음성 대화 학습 실현.
◦
기존 방법 대비 턴 교대 예측, 응답 일관성, 자연스러움 향상 및 추론 지연 시간 단축.
◦
실시간 응용을 위한 효율적인 SLM 개발 가능성 제시.
•
한계점:
◦
제시된 방법의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 언어 및 문화적 배경에 대한 적용 가능성 검증 필요.
◦
NTPP의 성능 향상이 특정 데이터셋이나 특정 아키텍처에 국한될 가능성에 대한 고찰 필요.
