본 논문은 대규모 사전 훈련 모델을 미세 조정하기 위한 매개변수 효율적인 미세 조정(PEFT) 방법론을 연구합니다. 특히, DoRA의 성공 요인이 가중치 업데이트 행렬의 특이값 엔트로피를 증가시키는 데 있음을 밝히고, 이를 바탕으로 수학적으로 동등하면서도 효율적인 행렬 형태로 DoRA를 재구성합니다. 또한, 가중치 조건화 관점에서 PEFT 방법론 설계를 위한 통합 프레임워크를 제안하고, 두 가지 새로운 방법인 Pre-Diag과 SORA를 제시합니다. Pre-Diag은 사전 훈련된 가중치를 효율적으로 보정하여 성능을 향상시키고 훈련 시간을 단축하며, SORA는 노름 보존 변환을 수행하여 특징 공간을 강력하게 변환합니다. 실험 결과, 제안된 방법론들이 LoRA 및 DoRA보다 우수한 성능과 효율성을 보였습니다.
