본 논문은 강화 학습(RL)을 활용하여 오디오 질의응답(AQA) 과제에서 대규모 오디오 언어 모델(LALM)의 추론 능력을 향상시키는 연구를 제시합니다. 특히, 70억 매개변수의 Qwen2-Audio-7B-Instruct 모델에 그룹 상대 정책 최적화(GRPO) 알고리즘을 적용하여 MMAU Test-mini 벤치마크에서 64.5%의 정확도를 달성, 최첨단 성능을 기록했습니다. 38,000개의 사후 훈련 샘플만으로도 지도 학습 미세 조정(SFT)보다 뛰어난 성능을 보였으며, 명시적인 추론 과정이 AQA 과제에 큰 도움이 되지 않음을 발견했습니다. 향후 연구는 효율적인 심층적 사고 활용 방안과 인간 수준의 청각-언어 추론 달성에 초점을 맞춰야 함을 시사합니다. 연구 결과는 GitHub 및 Hugging Face에서 공개되었습니다.
