본 논문은 대규모 오디오 언어 모델(LALMs) 평가의 어려움을 해결하기 위해 효율적이고 종합적인 평가 프레임워크인 AU-Harness를 제시한다. 기존 프레임워크의 느린 처리 속도, 일관되지 않은 프롬프팅, 좁은 작업 범위라는 세 가지 주요 문제점을 해결하기 위해, AU-Harness는 최적화된 배치 처리 및 병렬 실행을 통해 속도를 최대 127% 향상시키고, 표준화된 프롬프팅 프로토콜과 유연한 구성을 제공한다. 또한, 시간적 오디오 이해를 위한 LLM-Adaptive Diarization과 복잡한 오디오 기반 인지 작업을 위한 Spoken Language Reasoning이라는 두 가지 새로운 평가 범주를 도입하여 380개 이상의 작업에 대한 평가를 수행하고, LALM의 시간적 이해 및 복잡한 구어 이해 능력의 부족과 지시 방식의 표준화 부족을 밝혀냈다. AU-Harness는 실용적인 평가 도구와 모델의 한계에 대한 통찰력을 제공하여 LALM의 체계적인 개발을 발전시킨다.
