본 논문은 강화 학습(RL)을 활용하여 오디오 질의응답(AQA) 과제에서 대규모 오디오 언어 모델(LALM)의 추론 능력을 향상시키는 연구를 다룹니다. 특히, Qwen2-Audio-7B-Instruct 모델에 그룹 상대 정책 최적화(GRPO) 알고리즘을 적용하여 MMAU Test-mini 벤치마크에서 64.5%의 정확도를 달성, 최첨단 성능을 보였습니다. 38,000개의 사후 훈련 샘플만으로도 지도 학습 미세 조정(SFT)보다 뛰어난 성능을 보였으며, 명시적인 추론 과정이 AQA 과제에 큰 이점을 제공하지 못했다는 점을 발견했습니다. LALM이 여전히 인간의 청각-언어 추론 능력에는 크게 못 미친다는 점도 지적합니다.
