본 논문은 일반 목적 대규모 언어 모델(LLM)을 하위 작업에 맞추는 과정에서 발생하는 상당한 훈련 비용 조정 문제를 해결하기 위해 Attention Localization and Pruning Strategy (ALPS) 알고리즘을 제안합니다. ALPS는 과제에 가장 민감한 어텐션 헤드를 찾아 해당 헤드에만 어텐션 훈련 업데이트를 제한함으로써 어텐션 파라미터의 훈련 비용을 줄입니다. 실험 결과, 세 가지 과제에서 기준 모델보다 2% 향상된 성능을 달성하면서 미세 조정 중 어텐션 파라미터의 10%만 활성화하는 것으로 나타났습니다. 또한, 식별된 과제별 헤드는 데이터셋 간에 전달 가능하며 지식 망각을 완화합니다.
