Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Audio-Conditioned Diffusion LLMs for ASR and Deliberation Processing

Created by
  • Haebom

저자

Mengqi Wang, Zhan Liu, Zengrui Jin, Guangzhi Sun, Chao Zhang, Philip C. Woodland

개요

본 연구는 확산 기반 대형 언어 모델(DLLM) LLaDA를 자동 음성 인식(ASR)에 적용하는 경험적 연구를 제시한다. Whisper-LLaMA의 transcript에 대한 외부 숙고 기반 처리 모듈로 LLaDA를 활용하여, 양방향 어텐션 및 디노이징 기능을 활용한 다양한 마스킹 전략(랜덤 마스킹, 저신뢰도 마스킹, 반자동 회귀 전략)을 탐구했다. LibriSpeech 데이터셋에서, 최상의 cascade 시스템은 test-clean/test-other에서 2.25%/4.94%의 단어 오류율(WER)을 달성하여, test-other 분할에서 Whisper-LLaMA baseline 대비 12.3% 상대적 향상을 보였다. 또한, 음향 특징 없이 텍스트만 사용한 LLaDA는 정확도 향상에 실패하여, 음향 조건 임베딩의 중요성을 강조했다. 추가적으로, 확산 기반 및 반자동 회귀 디코딩을 사용하여 ASR을 위한 독립형 디코더로서 Whisper-LLaDA를 평가했으며, 대부분의 실험 설정에서 Whisper-LLaMA baseline보다 빠른 추론 속도를 달성했지만, 인식 정확도는 약간 낮았다.

시사점, 한계점

Whisper-LLaMA transcripts에 대한 외부 숙고 기반 모듈로서 LLaDA의 효과 입증 (WER 감소)
양방향 어텐션 및 디노이징 기능 활용의 중요성 강조
음향 조건 임베딩의 중요성 확인
확산 기반 및 반자동 회귀 디코딩을 사용한 독립형 디코더로서의 Whisper-LLaDA의 가능성 제시 (빠른 추론 속도)
독립형 디코더 사용 시 인식 정확도가 약간 낮음
본 연구는 특정 데이터셋(LibriSpeech)에 국한되어 있으며, 다른 데이터셋에서의 일반화 여부는 추가 연구 필요
단순 텍스트 LLaDA 사용 시 정확도 향상 실패는, 음향 정보를 통합하는 방법에 대한 추가 연구 필요성을 제기
👍