Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

InfiniSST: Simultaneous Translation of Unbounded Speech with Large Language Model

Created by
  • Haebom

저자

Siqi Ouyang, Xi Xu, Lei Li

개요

InfiniSST는 제한 없는 스트리밍 음성의 동시 통역 문제를 다루는 새로운 접근 방식을 제시하는 논문입니다. 기존 연구들이 사전 분할된 음성을 가정한 것과 달리, InfiniSST는 동시 통역을 다회차 대화 과제로 공식화하여 제한 없는 음성의 매끄러운 번역을 가능하게 합니다. MuST-C 데이터셋을 이용하여 다양한 지연 시간을 고려한 증강 학습을 통해 번역 경로와 강건한 세그먼트를 생성하고, 효율적인 추론을 위해 키-값(KV) 캐시 관리 전략을 개발했습니다. 실험 결과, MuST-C En-Es, En-De, En-Zh 데이터셋에서 기존 방법 대비 계산량을 고려한 지연 시간을 0.5~1초 단축하면서 동일한 번역 품질을 유지함을 보였습니다. 추가적인 ablation study를 통해 데이터 구성 및 캐시 관리 전략의 효과를 검증했습니다. 소스 코드와 데모는 깃허브에서 공개되었습니다.

시사점, 한계점

시사점:
제한 없는 스트리밍 음성에 대한 실시간 동시 통역의 실현 가능성을 높였습니다.
계산량을 고려한 지연 시간을 효과적으로 단축하면서 번역 품질을 유지하는 방법을 제시했습니다.
효율적인 KV 캐시 관리 전략을 통해 추론 속도를 향상시켰습니다.
MuST-C 데이터셋을 활용한 다양한 지연 시간 증강 학습 방법을 제시했습니다.
소스 코드와 데모를 공개하여 연구의 재현성과 확장성을 높였습니다.
한계점:
MuST-C 데이터셋에 대한 의존성이 높습니다. 다른 데이터셋으로의 일반화 성능은 추가적인 연구가 필요합니다.
실제 다양한 환경에서의 성능 평가가 더 필요합니다. (예: 잡음이 많은 환경, 다양한 음성 특징 등)
KV 캐시 관리 전략의 최적화 여지가 남아있을 수 있습니다.
특정 언어 쌍에 대한 결과만 제시되었으므로, 다른 언어 쌍으로의 확장성에 대한 검증이 필요합니다.
👍