Advancing Speech Understanding in Speech-Aware Language Models with GRPO
작성자
카테고리
Empty
저자
Avishai Elmakies, Hagai Aronowitz, Nimrod Shabtay, Eli Schwartz, Ron Hoory, Avihu Dekel
개요
본 논문에서는 열린 형식의 음성 이해 과제(예: 음성 질문 응답, 자동 음성 번역)에 대한 음성 인식 대규모 언어 모델(SALLM) 훈련을 위한 그룹 상대 정책 최적화(GRPO) 기반 방법을 제시합니다. SALLM은 음성 이해 과제에서 매우 효과적임이 입증되었으며, GRPO는 LLM 훈련의 효율성으로 인해 최근 주목받고 있습니다. 기존 연구는 주로 다중 선택 과제에서 SALLM에 대한 GRPO의 적용을 탐구했지만, 본 논문은 모델의 생성 능력을 더 잘 반영하는 열린 형식 과제에 중점을 둡니다. 본 연구는 BLEU를 보상 신호로 사용하는 GRPO를 활용하여 SALLM을 최적화하며, 여러 주요 지표에서 표준 SFT를 능가함을 실험적으로 보여줍니다. 마지막으로, 이러한 과제에서 GRPO 내에 오프 폴리시 샘플을 통합하는 잠재력을 탐구하고, 향후 개선 및 연구 방향을 제시합니다.
시사점, 한계점
•
시사점: GRPO를 사용하여 열린 형식의 음성 이해 과제에 대한 SALLM을 효과적으로 훈련할 수 있음을 보여줍니다. 표준 SFT보다 우수한 성능을 달성합니다. 오프 폴리시 샘플 통합을 통한 성능 향상 가능성을 제시합니다.
•
한계점: 오프 폴리시 샘플 통합에 대한 연구가 아직 초기 단계이며, 더 많은 연구가 필요합니다. 특정 유형의 열린 형식 과제에만 집중되어 다른 유형의 과제에 대한 일반화 가능성은 추가 연구가 필요합니다. 사용된 보상 신호인 BLEU의 한계(예: 문법적 정확성보다 유창성에 더 치중)가 모델 성능에 영향을 미칠 수 있습니다.