Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Reinforcement Learning Outperforms Supervised Fine-Tuning: A Case Study on Audio Question Answering

Created by
  • Haebom
Category
Empty

저자

Gang Li, Jizhong Liu, Heinrich Dinkel, Yadong Niu, Junbo Zhang, Jian Luan

개요

본 논문은 강화학습(RL)을 활용하여 오디오 질의응답(AQA) 과제에서 대규모 오디오 언어 모델(LALM)의 추론 능력을 향상시키는 연구를 제시합니다. 특히, Qwen2-Audio-7B-Instruct 모델에 그룹 상대 정책 최적화(GRPO) 알고리즘을 적용하여 MMAU Test-mini 벤치마크에서 64.5%의 정확도를 달성, 최첨단 성능을 기록했습니다. 38,000개의 사후 훈련 샘플만으로도 지도 학습 미세 조정(SFT)보다 RL이 훨씬 우수한 성능을 보였으며, 명시적인 추론 과정이 AQA 과제에 큰 이점을 주지 못했다는 점도 밝혔습니다. GitHub 및 Hugging Face를 통해 프로젝트 코드를 공개했습니다.

시사점, 한계점

•
시사점:
◦
GRPO 알고리즘은 82억 매개변수의 상대적으로 작은 LALM에도 효과적으로 적용될 수 있습니다.
◦
소규모 데이터셋으로도 RL 기반 접근 방식이 SFT보다 우수한 성능을 보입니다.
◦
RL 기반 접근 방식이 AQA 과제의 성능 향상에 효과적임을 보여줍니다.
•
한계점:
◦
명시적인 추론 과정이 AQA 성능 향상에 큰 영향을 미치지 못했습니다. 효율적인 심층적 사고 활용 방법에 대한 추가 연구가 필요합니다.
◦
LALM의 오디오-언어 추론 능력은 여전히 인간 수준에 크게 미치지 못하며, RL 기반 접근 방식에 대한 추가적인 연구가 필요합니다.
👍
Made with Slashpage