Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Cascaded Architecture for Extractive Summarization of Multimedia Content via Audio-to-Text Alignment

Created by
  • Haebom

저자

Tanzir Hossain, Ar-Rafi Islam, Md. Sabbir Hossain, Annajiat Alim Rasel

개요

본 연구는 오디오-텍스트 정렬을 통한 멀티미디어 콘텐츠의 추출적 요약을 위한 계단식 아키텍처를 제시합니다. YouTube 비디오와 같은 멀티미디어 소스에서 핵심 정보를 추출하는 과제를 해결하기 위해 Microsoft Azure Speech를 이용한 오디오-텍스트 변환과 Whisper, Pegasus, Facebook BART XSum과 같은 고급 추출적 요약 모델을 통합합니다. Pytube, Pydub, SpeechRecognition과 같은 도구를 사용하여 콘텐츠 검색, 오디오 추출 및 전사를 수행하며, 명명된 개체 인식 및 의미 역할 라벨링을 통해 언어 분석을 향상시킵니다. ROUGE 및 F1 점수를 사용한 평가 결과, 전사 오류와 같은 어려움에도 불구하고 기존 요약 방법보다 계단식 아키텍처가 우수한 성능을 보임을 보여줍니다. 향후 개선 방향으로는 모델 미세 조정 및 실시간 처리가 포함됩니다. 본 연구는 정보 검색, 접근성 및 사용자 경험을 개선함으로써 멀티미디어 요약에 기여합니다.

시사점, 한계점

시사점:
멀티미디어 콘텐츠(예: YouTube 비디오)의 효과적인 추출적 요약을 위한 새로운 계단식 아키텍처 제시.
기존 방법보다 향상된 ROUGE 및 F1 점수를 통해 성능 우수성 입증.
정보 검색, 접근성, 사용자 경험 향상에 기여.
한계점:
전사 오류에 대한 취약성.
모델 미세 조정 및 실시간 처리의 필요성.
👍