Filter-then-Weight: Online Data Selection and Reweighting for LLM Fine-Tuning

작성자

Haebom

카테고리

Empty

저자

Fangxin Wang, Peyman Baghershahi, Langzhou He, Henry Peng Zou, Sourav Medya, Philip S. Yu

💡 개요

본 논문은 순차적으로 발생하는 온라인 LLM 파인튜닝 환경에서 샘플의 유용성을 효과적으로 추정하고 가중치를 재조정하는 새로운 프레임워크를 제안합니다. 제안된 방법은 옵티마이저의 현재 상태를 고려하여 대상 업데이트를 맞춰나가는 방식으로 샘플 선택 문제를 재정의하고, 이를 통해 기존 오프라인 방식의 한계를 극복합니다. 실험 결과, 제안된 Filter-then-Weight 알고리즘은 데이터 예산 내에서 수렴 속도와 다운스트림 성능을 크게 향상시키는 것으로 나타났습니다.

🔑 시사점 및 한계

•

온라인 LLM 파인튜닝에서 옵티마이저의 상태를 고려한 동적 데이터 선택 및 가중치 재조정의 중요성을 강조합니다.

•

복잡한 샘플 간 상호작용과 중복성을 고려하여 실제 파인튜닝 목표에 부합하는 업데이트를 만드는 새로운 접근 방식을 제시합니다.

•

대규모 언어 모델 및 긴 컨텍스트 데이터에 적용 가능하도록 효율적인 계산 기법을 도입하여 실용성을 높였습니다.

•

본 연구는 샘플 선택 문제를 '업데이트 매칭' 문제로 재정의하며, 이는 향후 온라인 학습 및 데이터 관리 연구에 영감을 줄 수 있습니다.

PDF 보기

Made with Slashpage