본 논문은 새로운 Parameter-Efficient Fine-Tuning (PEFT) 방법인 ABBA를 제시합니다. 기존 LoRA와 HiRA와 같은 방법들은 사전 훈련된 가중치의 구조에 의존하여 표현력에 제한이 있었지만, ABBA는 두 개의 독립적으로 학습 가능한 저랭크 행렬의 Hadamard 곱으로 업데이트를 재매개변수화하여 사전 훈련된 가중치로부터 업데이트를 완전히 분리합니다. 이를 통해 동일한 파라미터 예산 하에서 훨씬 높은 표현력을 달성하며, 산술 및 상식 추론 벤치마크에서 기존 PEFT 방법들을 상당한 차이로 능가하는 결과를 보여줍니다. ABBA의 표현력을 공식적으로 분석하고 행렬 재구성 실험을 통해 장점을 검증하였으며, 코드는 공개적으로 제공됩니다.
