본 논문은 강화학습(RL)을 활용하여 오디오 질문 답변(AQA) 과제에서 대규모 오디오 언어 모델(LALM)의 추론 능력을 향상시키는 연구를 제시합니다. 특히, Qwen2-Audio-7B-Instruct 모델에 그룹 상대 정책 최적화(GRPO) 알고리즘을 적용하여 MMAU Test-mini 벤치마크에서 64.5%의 정확도를 달성, 최첨단 성능을 기록했습니다. 38,000개의 사후 훈련 샘플만으로도 지도 학습 미세 조정(SFT)을 능가하는 성능을 보였으며, 명시적인 추론 과정이 AQA 과제에 큰 도움이 되지 않음을 발견했습니다. LALM의 성능은 여전히 인간의 수준에는 미치지 못하며, 향후 RL 기반 접근 방식에 대한 추가적인 연구가 필요함을 시사합니다.
