본 논문은 대규모 언어 모델(LLM)을 새로운 도메인에 효율적으로 적응시키기 위한 파라미터 효율적 미세 조정(PEFT) 방법론인 ABBA를 제시합니다. ABBA는 사전 훈련된 가중치의 하드마르 곱(Hadamard product)을 사용하여 업데이트를 재 매개변수화하는 새로운 PEFT 아키텍처입니다. 기존 PEFT 방법론과는 달리, ABBA는 업데이트를 사전 훈련된 가중치로부터 완전히 분리하여 두 구성 요소를 독립적으로 최적화할 수 있도록 합니다. 이는 동일한 파라미터 예산으로 더 높은 표현력을 가능하게 하며, 산술 및 상식 추론 벤치마크에서 기존 PEFT 방법론보다 우수한 성능을 보입니다.
