Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ATRI: Mitigating Multilingual Audio Text Retrieval Inconsistencies by Reducing Data Distribution Errors

Created by
  • Haebom

저자

Yuguo Yin, Yuxin Xie, Wenyuan Yang, Dongchao Yang, Jinghan Ru, Xianwei Zhuang, Liming Liang, Yuexian Zou

개요

본 논문은 다국어 오디오-텍스트 검색(ML-ATR)에서 언어 간 일관성 부족 문제를 해결하는 새로운 방법을 제안합니다. 기존 ML-ATR 방식의 언어 간 유사도 매칭의 불일치 문제를 이론적으로 분석하여, 다국어 모달 정렬 방향 오류와 가중치 오류라는 두 가지 측면에서 불일치를 분석하고, 가중치 오류의 상한선을 제시합니다. 이 분석을 바탕으로, 불일치 문제가 언어의 무작위 샘플링으로 인한 데이터 분포 오류에서 기인함을 밝히고, 1-to-k 대조 학습과 오디오-영어 공 참조 대조 학습을 사용하는 일관된 ML-ATR 기법을 제안합니다. AudioCaps와 Clotho 데이터셋을 번역하여 수행한 실험 결과, 제안된 기법은 영어를 포함한 8개 주요 언어에서 재현율 및 일관성 지표에서 최첨단 성능을 달성했습니다. 코드는 https://github.com/ATRI-ACL/ATRI-ACL 에서 공개될 예정입니다.

시사점, 한계점

시사점:
다국어 오디오-텍스트 검색에서의 언어 간 일관성 문제를 이론적으로 분석하고 정량화하는 새로운 프레임워크를 제공합니다.
데이터 분포 오류를 완화하여 ML-ATR의 재현율 및 일관성을 향상시키는 새로운 방법을 제시합니다.
8개 주요 언어에서 최첨단 성능을 달성하여 제안된 방법의 효과를 실증적으로 입증합니다.
공개된 코드를 통해 연구의 재현성을 높입니다.
한계점:
제안된 방법의 성능은 특정 데이터셋과 언어에 국한될 수 있습니다.
더 다양한 언어와 데이터셋에 대한 실험이 필요합니다.
가중치 오류 상한선의 이론적 분석이 실제 문제를 얼마나 잘 반영하는지에 대한 추가 연구가 필요합니다.
👍