본 논문은 대규모 언어 모델을 여러 작업에 적용할 때 발생하는 기술 간 간섭 문제를 해결하기 위해 Compositional Subspace Representation Fine-tuning (CS-ReFT) 방법을 제안합니다. CS-ReFT는 각각 다른 기술에 특화된 여러 개의 직교 부분 공간 변환을 학습하고, 가벼운 라우터를 통해 이들을 결합하는 표현 기반 접근 방식입니다. 가중치 행렬이 아닌 은닉 상태 내에서 이러한 부분 공간 편집을 분리함으로써, CS-ReFT는 작업 간 충돌을 더 효과적으로 방지합니다. Llama-2-7B에 CS-ReFT를 적용하여 AlpacaEval 벤치마크에서 GPT-3.5 Turbo를 능가하는 93.94%의 승률을 달성했으며, 모델 매개변수의 0.0098%만을 필요로 했습니다. 이는 간단한 라우터를 통해 구성된 특수화된 표현 편집이 최소한의 오버헤드로 다중 작업 지시 사항 준수를 크게 향상시킨다는 것을 보여줍니다.
