본 논문은 대규모 언어 모델(LLM)의 매개변수 효율적인 미세 조정(PEFT)을 위한 새로운 방법인 혼합 크로네커 어댑터(MoKA)를 제안합니다. 기존의 저랭크 어댑터는 랭크 제약으로 인해 표현력이 제한적이라는 한계가 있었는데, MoKA는 가중치 업데이트를 크로네커 곱의 혼합으로 모델링하여 이를 해결합니다. 게이팅 메커니즘을 통해 각 크로네커 요소의 중요도를 측정하고, 랭크 유연성을 제공하여 매개변수 효율성과 정확도 간의 균형을 개선합니다. GPU 최적화 하드웨어에서의 효율적인 배포를 위해 표준 행렬 연산을 사용하여 크로네커 계산을 재구성하였습니다. LLaMA2-7B 및 LLaMA3-8B 모델을 사용한 실험 결과, MoKA는 기존 PEFT 기법보다 성능이 우수하며, 최대 27배까지 학습 가능한 매개변수 수를 줄이면서 성능과 매개변수 효율성 간 최첨단 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
기존 저랭크 어댑터의 표현력 한계를 극복하는 새로운 PEFT 방법 제시
◦
게이팅 메커니즘과 랭크 유연성을 통해 매개변수 효율성과 정확도 간 최적의 균형 달성
◦
GPU 최적화를 위한 효율적인 크로네커 계산 재구성
◦
LLaMA2-7B 및 LLaMA3-8B 모델을 사용한 실험에서 SOTA 성능 달성 및 매개변수 수 최대 27배 감소
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
◦
다양한 LLM 아키텍처 및 작업에 대한 추가적인 실험 필요
◦
특정 하드웨어 환경에 대한 최적화 수준이 명시적으로 제시되지 않음 (추가적인 실험을 통해 검증 필요)
