본 논문은 전문 분야 적용을 위해 메모리 및 계산 집약적인 미세 조정을 필요로 하는 파운데이션 모델의 문제를 해결하기 위해, LoRA와 같은 최첨단 방법보다 훈련 가능한 매개변수 수를 크게 줄이는 매개변수 효율적인 미세 조정 방법인 HyperAdapt를 소개합니다. HyperAdapt는 사전 훈련된 가중치 행렬에 대각 행렬을 통한 행 및 열별 스케일링을 적용하여, $n \times m$ 행렬에 대해 단지 $n+m$ 개의 훈련 가능한 매개변수만을 필요로 하면서 높은 랭크의 업데이트를 유도합니다. 이론적으로 HyperAdapt의 업데이트 랭크에 대한 상한을 설정하고, 경험적으로 모델 레이어에서 지속적으로 높은 랭크의 변환을 유도함을 확인했습니다. 14B 매개변수까지의 모델을 사용한 GLUE, 산술 추론, 상식 추론 벤치마크 실험에서 HyperAdapt는 전체 미세 조정 및 최첨단 PEFT 방법의 성능에 근접하면서 훈련 가능한 매개변수를 훨씬 적게 사용함을 입증했습니다.
