Understanding Forgetting in LLM Supervised Fine-Tuning and Preference Learning - A Convex Optimization Perspective
Created by
Haebom
Category
Empty
저자
Heshan Fernando, Han Shen, Parikshit Ram, Yi Zhou, Horst Samulowitz, Nathalie Baracaldo, Tianyi Chen
개요
본 논문은 대규모 언어 모델(LLM)의 효과적이고 안전한 활용을 위해 필수적인 사후 훈련(Post-training) 과정에 대한 연구를 제시한다. 일반적으로 SFT(Supervised Fine-tuning)와 선호도 학습(RLHF 또는 DPO) 단계로 구성되는 사후 훈련에서, 기존의 순차적 접근 방식(SFT 후 RLHF/DPO)의 비효율성을 이론적으로 증명하고, 두 단계를 결합하여 훈련하는 새로운 프레임워크를 제안한다. 제안된 프레임워크는 이론적인 수렴 보장을 가지며, 순차적 훈련 방식보다 최대 23%의 성능 향상을 보이며, 최소한의 계산 부담만을 가진다.
시사점, 한계점
•
시사점:
◦
LLM 사후 훈련의 효율성을 높이는 새로운 프레임워크 제안 (SFT와 RLHF/DPO의 결합)
