Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Spatial Blind Spot: Auditory Motion Perception Deficits in Audio LLMs

Created by
  • Haebom
Category
Empty

저자

Zhe Sun, Yujun Cai, Jiayu Yao, Yiwei Wang

개요

대형 오디오-언어 모델(LALM)은 음성 인식, 오디오 캡셔닝, 음성 질의 응답에서 인상적인 발전을 보였지만, 음원의 움직임과 같은 공간 역학을 인식할 수 있는지 여부는 불분명하다. 본 연구에서는 현재의 ALLM에서 체계적인 움직임 인식 결함을 발견했다. 이 문제를 조사하기 위해, AMPBench를 도입했다. AMPBench는 오디오-언어 모델(LALM)이 바이노럴 오디오에서 움직이는 음원의 방향과 궤적을 추론할 수 있는지 평가하도록 설계된 통제된 질의 응답 벤치마크이다. 종합적인 정량적 및 질적 분석 결과, 현재 모델은 움직임 단서를 신뢰성 있게 인식하거나 방향 패턴을 구별하는 데 어려움을 겪는 것으로 나타났다. 평균 정확도는 50% 미만으로, 청각적 공간 추론의 근본적인 한계를 강조한다.

시사점, 한계점

시사점: 현재 오디오-언어 모델은 음원 움직임에 대한 공간적 이해가 부족하며, 인간의 청각적 공간 추론 능력과 큰 차이를 보인다. AMPBench는 이러한 모델의 공간적 인지 능력을 평가하는 진단 도구를 제공한다.
한계점: 현재 모델은 음원 움직임의 방향과 궤적을 신뢰성 있게 인식하지 못하며, 평균 정확도가 50% 미만으로 낮다. 이는 청각적 공간 추론 능력에 근본적인 제약이 있음을 시사한다.
👍