BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning
Created by
- Haebom
Category
Empty
저자
Qianli Shen, Daoyuan Chen, Yilun Huang, Zhenqing Ling, Yaliang Li, Bolin Ding, Jingren Zhou
개요
강화 미세 조정(RFT)은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추고 추론 능력을 향상시키는 핵심 기술이지만, 훈련 중 탐색되는 작업에 따라 그 효과가 크게 달라집니다. 균일한 작업 샘플링은 비효율적이며, 사소하거나 해결할 수 없는 작업에 계산 자원을 낭비합니다. 기존의 작업 선택 방법은 롤아웃 비용이 높거나, 적응성이 떨어지거나, 증거가 불완전하다는 단점이 있습니다. 본 논문에서는 LLM 강화 미세 조정을 위한 베이즈 온라인 작업 선택을 위한 통합 프레임워크인 BOTS를 소개합니다. 베이즈 추론에 기반한 BOTS는 모델이 발전함에 따라 작업 난이도에 대한 사후 추정치를 적응적으로 유지합니다. 선택된 작업에 대한 직접 평가에서 얻은 명시적 증거와, 이러한 평가에서 추론된 선택되지 않은 작업에 대한 암묵적 증거를 함께 통합하며, 톰슨 샘플링을 통해 탐색과 활용 사이의 원칙적인 균형을 보장합니다. 암묵적 증거를 실용적으로 만들기 위해, 추가 롤아웃 없이 평가되지 않은 작업의 난이도를 추정하는 초경량 보간 기반 플러그인을 사용하여 구현했습니다. 이는 부가적인 오버헤드가 거의 없습니다. 다양한 도메인과 LLM 규모에서 BOTS는 기준선 및 어블레이션 대비 데이터 효율성과 성능을 일관되게 향상시켜 RFT에서 동적 작업 선택을 위한 실용적이고 확장 가능한 솔루션을 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM 강화 미세 조정에서 작업 선택을 위한 새로운 프레임워크인 BOTS를 제시.
◦
베이즈 추론을 기반으로 하여, 작업 난이도를 적응적으로 추정하고 탐색과 활용의 균형을 유지.
◦
직접 평가와 간접적인 증거를 모두 활용하여, 데이터 효율성을 향상.
◦
초경량 플러그인을 사용하여 암묵적 증거를 실용적으로 구현하고, 오버헤드를 최소화.
◦
다양한 실험을 통해 기존 방법 대비 성능 및 데이터 효율성 개선을 입증.
•
한계점:
◦
논문에 구체적인 한계점 언급 없음.
