LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
Created by
Haebom
저자
Zihang Liu, Tianyu Pang, Oleg Balabanov, Chaoqun Yang, Tianjin Huang, Lu Yin, Yaoqing Yang, Shiwei Liu
개요
본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 효율적인 파라미터 미세 조정 기법인 저차원 정보 기반 스파스 미세 조정(LIFT)을 제안합니다. 기존의 전체 미세 조정(Full FT)은 계산 비용이 높고 과적합 및 망각 문제에 취약한 반면, 스파스 미세 조정은 효율성과 효과성 사이의 균형을 제공하지만, 추론에 중요한 파라미터를 식별하는 어려움이 있었습니다. 본 논문에서는 저차원 근사 후 가장 큰 크기를 가진 가중치(Principal Weights)를 미세 조정에 중요한 가중치로 간주하고, 이를 기반으로 LIFT를 제안합니다. LIFT는 훈련 과정에서 상위 5%의 Principal Weights만 업데이트하며, Full FT보다 우수한 추론 성능을 달성하면서 메모리 효율성도 유지합니다. 또한, Full FT 및 LoRA에 비해 소스 도메인 지식을 최대 20% 더 유지합니다.
시사점, 한계점
•
시사점:
◦
저차원 근사 기법을 활용하여 LLM의 스파스 미세 조정 효율성을 크게 향상시킬 수 있음을 보여줍니다.
◦
LIFT는 Full FT보다 우수한 추론 성능과 메모리 효율성을 동시에 달성합니다.
◦
기존 방법들에 비해 소스 도메인 지식의 손실을 최소화합니다.
◦
Principal Weights 기반의 스파스 미세 조정이 LLM에 효과적임을 제시합니다.
•
한계점:
◦
Principal Weights 선정 기준의 일반성 및 다양한 LLM 및 작업에 대한 적용 가능성에 대한 추가 연구가 필요합니다.
