Reconciling Contradictory Views on the Effectiveness of SFT in LLMs: An Interaction Perspective

작성자

Haebom

카테고리

Empty

저자

Junpeng Zhang, Lei Cheng, Guoxi Zhang, Hua Cai, Qing Xu, Quanshi Zhang

💡 개요

이 논문은 지도 학습 미세 조정(SFT)이 대규모 언어 모델(LLM)에 적용될 때 일관되지 않거나 해로운 결과를 초래하는 이유에 대한 과학적 질문을 탐구합니다. 상호작용 기반 설명의 최신 연구에 따르면 단어/토큰 간의 상호작용은 LLM에 인코딩된 추론 패턴을 정량화하는 충실한 지표를 제공합니다. 연구진은 SFT 중에 발생하는 상호작용의 변화가 LLM에 대한 SFT의 일관되지 않은 효과를 효과적으로 설명할 수 있음을 발견했습니다.

🔑 시사점 및 한계

•

SFT는 주로 노이즈와 같은 상호작용을 제거하지만, 신뢰할 수 있는 새로운 상호작용을 획득하는 경우는 드뭅니다.

•

이러한 노이즈 제거 단계는 매우 짧으며, 이후의 지속적인 미세 조정은 과적합된 상호작용을 도입하는 경향이 있습니다.

•

SFT의 효과에 대한 상호작용 관점에서의 새로운 통찰력을 제공하며, LLM 훈련을 위한 실질적인 지침을 제공합니다.

•

조기 중단(early stopping)에 대한 새로운 관점을 제시하여 LLM 훈련의 최적 시점을 찾는 데 도움을 줄 수 있습니다.

PDF 보기

Made with Slashpage