사전 훈련된 모델을 다운스트림 작업에 효율적으로 미세 조정하는 것은 파운데이션 모델 시대의 핵심 과제입니다. 매개변수 효율적 미세 조정(PEFT)은 각 레이어당 소수의 적응 가중치만 업데이트하여 전체 미세 조정과 유사한 성능을 달성하는 유망한 솔루션을 제시합니다. TuckA는 복잡한 작업에서 데이터의 고유한 다양성을 고려하여 여러 개의 작은 적응 전문가를 하나의 컴팩트한 구조에 통합하는 방법을 탐구합니다. TuckA는 Tucker 분해를 사용하여 각 슬라이스가 자연스럽게 전문가 역할을 하는 컴팩트한 3D 텐서를 생성하고, 계층적 전략을 통해 이러한 전문가를 다양한 세분성으로 그룹화하며, 효율적인 배치 수준 라우팅 메커니즘을 사용하고, 데이터 인식 초기화를 통해 손실 없는 전문가 부하 균형을 달성합니다. 자연어 이해, 이미지 분류 및 수학적 추론에 대한 벤치마크 실험을 통해 TuckA의 효과를 입증했습니다.
