Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CACARA: Cross-Modal Alignment Leveraging a Text-Centric Approach for Cost-Effective Multimodal and Multilingual Learning

Created by
  • Haebom
Category
Empty

저자

Diego A. B. Moreira, Alef I. Ferreira, Jhessica Silva, Gabriel O. dos Santos, Gustavo Bonil, Joao Gondim, Marina dos Santos, Helena Maia, Simone Hashiguti, Nadia da Silva, Carolina Scarton, Helio Pedrini, Sandra Avila

개요

딥러닝 모델의 발전과 함께 멀티 모달 데이터 간의 상호 작용이 중요해지고 있으나, 기존 모델들은 자원 소모적인 훈련 방식을 따른다. 본 논문은 Emergent alignment learning을 통해 훈련된 multimodal 및 multilingual 아키텍처인 CACARA를 제안한다. CACARA는 새로운 modality를 기존 모델에 통합하거나, 텍스트 인코더를 재훈련하지 않고도 100개 이상의 언어를 지원할 수 있다. 이는 단일 언어(영어)로 훈련된 모델을 fine-tuning하여 달성되며, 기존 지식을 보존하면서 단일 언어 모델과 유사한 비용으로 효율적인 학습이 가능하다. 제안된 방법은 오디오-텍스트 검색에서 최대 14.24% 향상을 보이며, 기존 SOTA 모델을 능가한다.

시사점, 한계점

•
시사점:
◦
Emergent alignment learning을 통해 새로운 modality 및 언어를 효율적으로 통합하는 혁신적인 아키텍처 제시.
◦
기존 멀티모달 모델의 재훈련 문제를 해결하고, 계산 비용을 절감.
◦
오디오-텍스트 검색에서 SOTA 성능을 달성.
◦
다국어 지원을 위한 별도의 사전 훈련이나 텍스트 인코더 튜닝 불필요.
•
한계점:
◦
구체적인 아키텍처 및 학습 알고리즘에 대한 상세한 설명 부족.
◦
모델의 일반화 성능에 대한 추가적인 검증 필요.
◦
다른 모달리티 조합 및 복잡한 언어 환경에서의 성능 평가 필요.
◦
단일 언어 (영어) 기반 fine-tuning의 한계점.
👍
Made with Slashpage