본 논문은 텍스트 기반 거대 언어 모델(LLM)의 성공에 따라 시각 및 음성과 같은 다른 모달리티를 텍스트와 결합하여 다중 모달리티 기능을 달성하려는 시도가 활발해짐에 따라, 거대 오디오 언어 모델(LALM)의 평가를 위해 기존의 분류나 생성 작업과는 다른 추론 관련 작업에 초점을 맞춘 새로운 데이터셋인 시간적 추론 평가 오디오(TREA)를 제안합니다. TREA 데이터셋을 사용하여 오픈소스 LALM들을 벤치마킹한 결과, LALM이 추론 작업에서 인간의 능력에 미치지 못함을 확인하였습니다. 또한, LALM 평가를 위한 불확실성 지표를 제안하여, 모델의 입력에 대한 의미론적 동일성 변화에 대한 불변성을 계산하고, 정확도와 불확실성 지표 간의 상관관계가 없음을 보여줌으로써, 고위험 응용 분야를 위한 LALM의 종합적인 평가의 필요성을 강조합니다.
