본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 기존의 두 단계 파이프라인(지도 학습 미세 조정(SFT)과 강화 학습(RL))의 한계를 극복하기 위해, SFT와 RL을 상호 보완적인 보상 신호로 보는 새로운 관점을 제시합니다. 기존 방법들의 단점인 끔찍한 망각(catastrophic forgetting)과 모방과 탐색 간의 최적화되지 않은 절충을 해결하기 위해, 암시적 보상(implicit rewards) 개념을 도입하여 SFT의 경로 수준 보상과 RL의 결과 기반 보상 간의 최적 균형을 학습하는 단일 단계 알고리즘인 적응형 메타 미세 조정(AMFT)을 제안합니다. AMFT의 핵심은 SFT-RL 균형을 학습 가능한 매개변수로 취급하여 장기적인 작업 성능을 극대화하도록 동적으로 최적화하는 메타-기울기 적응 가중치 제어기입니다. 정책 엔트로피를 사용한 안정성 확보를 통해 효과적인 학습 과정을 자율적으로 발견합니다. 수학적 추론, 추상적 시각적 추론(General Points), 시각-언어 탐색(V-IRL) 등 다양한 벤치마크에서 최첨단 성능을 달성하고, 분포 외(OOD) 작업에서도 우수한 일반화 성능을 보입니다. 에이블레이션 연구와 학습 동적 분석을 통해 메타 학습 제어기가 AMFT의 안정성, 샘플 효율성 및 성능에 중요한 역할을 함을 확인합니다.
