Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Seewo's Submission to MLC-SLM: Lessons learned from Speech Reasoning Language Models

Created by
  • Haebom

저자

Bo Li, Chengben Xu, Wufeng Zhang

개요

본 논문은 다국어 대화 음성 언어 모델 챌린지(MLC-SLM)의 두 트랙(자동 음성 인식(ASR) 및 ASR을 이용한 화자 분리(SD-ASR))에 대한 Seewo의 시스템을 제시합니다. 음성 언어 모델의 추론 및 자기 수정 능력을 명시적으로 향상시키는 다단계 학습 파이프라인을 소개합니다. 이 방법은 점진적인 능력 습득을 위한 커리큘럼 학습, 중간 반성을 촉진하는 사고 연쇄(Chain-of-Thought) 데이터 증강, 그리고 보상 기반 최적화를 통해 자기 수정을 더욱 개선하는 검증 가능한 보상을 사용한 강화 학습(RLVR)을 결합합니다. 이 접근 방식은 공식 챌린지 기준선에 비해 상당한 개선을 달성합니다. 평가 세트에서 최고 시스템은 트랙 1에서 11.57%의 WER/CER을, 트랙 2에서 17.67%의 tcpWER/tcpCER을 달성합니다. 포괄적인 제거 연구는 챌린지 제약 조건 하에서 각 구성 요소의 효과를 보여줍니다.

시사점, 한계점

시사점:
다국어 대화 음성 언어 모델의 성능 향상을 위한 효과적인 다단계 학습 파이프라인 제시.
커리큘럼 학습, Chain-of-Thought 데이터 증강, RLVR의 효과적인 결합을 통해 ASR 및 SD-ASR 성능 향상.
MLC-SLM 챌린지에서 상당한 성능 개선 달성 (트랙 1: 11.57% WER/CER, 트랙 2: 17.67% tcpWER/tcpCER).
각 구성 요소의 효과에 대한 포괄적인 ablation study 제공.
한계점:
제시된 시스템의 성능은 특정 챌린지 데이터셋에 국한될 수 있음.
다른 언어 및 대화 유형에 대한 일반화 성능 검증 필요.
RLVR을 위한 보상 함수 설계의 복잡성 및 최적화 어려움.
다단계 파이프라인의 계산 비용 및 복잡성.
👍