본 논문은 공간적 청각 추론 능력을 갖춘 새로운 모델 BAT(Binaural Acoustic Transformer)를 제시합니다. BAT는 이중 채널 음향 장면 분석 모델의 공간적 청각 인지 능력과 대규모 언어 모델(LLM)의 자연어 추론 능력을 결합하여 인간의 공간적 청각 추론 능력을 모방합니다. 기존의 실제 환경 공간 음향 데이터셋 부족 문제를 해결하기 위해 AudioSet과 SoundSpaces 2.0을 사용하여 이중 채널 오디오 데이터셋을 합성하고, 다양한 공간적 청각 인지 및 추론 과제를 제공하는 공간 음향 기반 질의응답(QA) 데이터셋 SpatialSoundQA를 개발했습니다. BAT의 음향 프런트 엔드 인코더는 새로운 공간 오디오 인코더인 Spatial Audio Spectrogram Transformer (Spatial-AST)이며, 이는 독립적으로도 음향 이벤트 탐지, 공간 위치 추정, 거리 추정에서 강력한 성능을 보입니다. Spatial-AST와 LLaMA-2 7B 모델을 통합한 BAT는 표준 음향 이벤트 위치 및 탐지(SELD) 작업을 넘어 환경 내 소리 간의 관계를 추론할 수 있습니다. 실험 결과, BAT는 공간적 청각 인지 및 추론 모두에서 우수한 성능을 보이며, 복잡한 공간 오디오 환경을 탐색하고 해석하는 데 있어 LLM의 잠재력을 보여줍니다.
