LoRA와 같은 파라미터 효율적인 방법은 대형 언어 모델(LLM) 미세 조정에 혁명을 일으켰습니다. ReLoRA는 이 아이디어를 사전 훈련으로 확장하여, 낮은 랭크 어댑터를 반복적으로 병합하고 재초기화하여 업데이트 비용을 유지하면서 누적 랭크를 증가시킵니다. 이 방법은 고용량 모델이 시간이 지남에 따라 확장되는 로컬 낮은 랭크 궤적을 통해 학습한다는 관찰과 잘 일치합니다. 반면, 최근 연구에 따르면 소형 언어 모델(SLM)은 랭크 결함을 보이며 사용 가능한 차원을 제대로 활용하지 못합니다. 이에 따라 ReLoRA의 랭크 확장 업데이트 규칙이 용량 제한 환경에서 SLM을 더 건강한 학습 역학으로 '유도'하여 랭크 병목 현상을 완화할 수 있는지에 대한 질문이 제기되었습니다. 이 연구는 SLM이 신속하게 훈련되고, 제어된 어블레이션을 가능하게 하며, 랭크 현상을 더 측정 가능하게 만들기 때문에 이상적인 테스트베드라고 주장합니다. 11M-66M 파라미터를 가진 SLM에서 ReLoRA를 처음으로 체계적으로 연구하여 성능과 학습 역학을 모두 평가했습니다. 손실, Paloma 혼란도 및 BLiMP를 통해 ReLoRA가 전체 랭크 훈련보다 성능이 떨어지며, 규모가 커질수록 그 차이가 커지는 것을 발견했습니다. 비례 유효 랭크와 조건수를 분석한 결과, ReLoRA가 기존의 랭크 결함을 증폭시키고 훈련 초기에 ill-conditioned 업데이트를 유발하는 것으로 나타났습니다. 이 결과는 ReLoRA의 병합 및 재시작 전략이 더 큰 모델에서는 랭크를 확장할 수 있지만, 용량 제한 SLM에는 직접 적용되지 않음을 시사하며, 낮은 컴퓨팅 사전 훈련을 위한 적응형 랭크 또는 하이브리드 랭크 접근 방식을 제시합니다.
