Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Length Aware Speech Translation for Video Dubbing

Created by
  • Haebom

저자

Harveen Singh Chadha, Aswin Shanmugam Subramanian, Vikas Joshi, Shubham Bansal, Jian Xue, Rupeshkumar Mehta, Jinyu Li

개요

본 논문은 실시간, 온디바이스 비디오 더빙 시나리오를 위해 효율적인 음성 번역 정렬 방법을 제시한다. 음소 기반의 end-to-end 길이 민감형 음성 번역(LSST) 모델을 개발하여 미리 정의된 태그를 사용하여 짧음, 보통, 긴 길이의 번역을 생성한다. 또한, 단일 디코딩 패스에서 다양한 길이의 번역을 생성하는 효율적인 길이 인식 빔 서치(LABS) 기법을 도입하였다. 이는 길이 인식 기능이 없는 기준 모델과 비교하여 BLEU 점수는 유사하게 유지하면서, 원본 및 대상 오디오 간의 동기화 품질을 크게 향상시켰으며, 스페인어의 경우 0.34, 한국어의 경우 0.65의 MOS 점수 향상을 달성하였다.

시사점, 한계점

시사점:
실시간 온디바이스 비디오 더빙을 위한 효율적인 음성 번역 정렬 방법 제시
길이 민감형 음성 번역 모델(LSST)과 길이 인식 빔 서치(LABS)를 통한 동기화 품질 향상
스페인어와 한국어에서 MOS 점수의 유의미한 향상 확인 (스페인어 0.34, 한국어 0.65)
BLEU 점수 유지하면서 동기화 향상을 달성
한계점:
제시된 모델의 성능 평가는 스페인어와 한국어에 국한됨. 다른 언어에 대한 일반화 가능성에 대한 추가 연구 필요.
LABS의 효율성은 특정 하드웨어 환경에 의존적일 수 있음. 다양한 환경에서의 성능 평가 필요.
미리 정의된 태그에 대한 의존성이 존재하며, 태그 생성 및 관리에 대한 추가적인 연구가 필요할 수 있음.
👍