Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Omni-CLST: Error-aware Curriculum Learning with guided Selective chain-of-Thought for audio question answering

Created by
  • Haebom

저자

Jinghua Zhao, Hang Su, Lichun Fan, Zhenbo Luo, Hui Wang, Haoqin Sun, Yong Qin

개요

본 논문은 대규모 오디오-언어 모델(LALMs)의 발전으로 새롭게 등장한 오디오 질의응답(AQA) 과제에 대해 다룹니다. 기존 AQA 연구는 주로 새로운 데이터셋을 생성하는 데 집중했으나, 고품질 기존 데이터셋 활용에는 미흡했습니다. 이를 해결하고자, 본 논문은 오류 인식 커리큘럼 학습과 유도적 사고 과정 선택(Selective Chain-of-Thought)을 결합한 Omni-CLST 프레임워크를 제안합니다. Omni-CLST는 난이도에 따른 샘플 정렬 및 어려운 경우에 대한 집중적 추론을 통해 기존 고품질 데이터셋을 효율적으로 활용합니다. 실험 결과, Omni-CLST는 MMAU-mini에서 73.80%, MMAR에서 64.30%의 성능을 달성하며 다중 모달 오디오-언어 이해에서 강력한 일반화 능력을 보여줍니다.

시사점, 한계점

시사점:
기존 고품질 AQA 데이터셋을 효과적으로 활용하는 새로운 프레임워크(Omni-CLST) 제시
오류 인식 커리큘럼 학습과 유도적 사고 과정 선택을 통한 성능 향상
MMAU-mini 및 MMAR 데이터셋에서 최첨단 성능 달성
다중 모달 오디오-언어 이해 분야의 발전에 기여
한계점:
제안된 프레임워크의 일반화 성능에 대한 추가적인 검증 필요
다양한 유형의 오디오 데이터 및 질문에 대한 적용성 평가 필요
다른 AQA 모델과의 비교 분석 강화 필요
👍