본 논문은 대규모 언어 모델(LLM)을 하위 작업에 맞추는 과정에서 발생하는 높은 훈련 비용을 줄이기 위한 효율적인 알고리즘인 ALPS(Attention Localization and Pruning Strategy)를 제안합니다. ALPS는 과제에 가장 민감한 어텐션 헤드를 찾아내어 해당 헤드에만 어텐션 훈련 업데이트를 제한함으로써 어텐션 파라미터의 훈련을 최소화합니다. 실험 결과, ALPS는 세 가지 과제에서 기준 모델 대비 2%의 성능 향상을 달성하면서 파인튜닝 중 어텐션 파라미터의 10%만 활성화하는 것으로 나타났습니다. 또한, 식별된 과제 특정 헤드는 데이터셋 간에 전이 가능하며 지식 손실을 완화합니다.
