Attention Saturation and Gradient Suppression at Inflection Layers: Diagnosing and Mitigating Bottlenecks in Transformer Adaptation
Created by
- Haebom
Category
Empty
저자
Wang Zixian
개요
사전 훈련된 Transformer는 미세 조정 과정에서 소스 패턴에 과도한 확신을 보이며 새로운 대상 도메인 패턴을 형성하는 데 어려움을 겪습니다. 본 논문은 표준 교차 엔트로피 및 소프트맥스 분석을 통해 기울기 억제를 유발하는 출력 포화 메커니즘을 공식화합니다. 이를 통해, 변곡점 레이어에서의 기울기 억제가 기존 특징의 상위 수준 재조합에 적응을 국한시키고 하위 수준 재구성을 방해한다는 것을 보여줍니다. 또한, 주의 엔트로피(포화 프록시), 활성화 기울기 노름, 매개변수 기울기 노름, 공유 PCA 기반의 Delta-CKA와 같은 레이어별 진단 메트릭을 도입하여 낮은 주의 엔트로피와 급격한 기울기 감소가 특징인 변곡점 레이어를 식별합니다. 이러한 연구 결과를 바탕으로, 변곡점 레이어에 LoRA 어댑터를 선택적으로 삽입하여 최소한의 파라미터 오버헤드로 억제된 역방향 신호를 복원하는 진단-우선, 경량 주입 미세 조정 전략을 제안합니다. SST-2에서 Rotten Tomatoes로의 BERT-base 전이 실험을 통해 과소 훈련 및 과다 훈련된 소스 환경에서, 과다 훈련된 초기화는 변곡점 레이어 LoRA 주입의 이점을 얻고, 과소 훈련된 초기화는 성능 저하를 겪는다는 것을 확인했습니다. 기본 특징이 강할 때는 변곡점 레이어 차단 해제가 상위 수준의 구성 적응을 촉진하며, 기본 특징이 약할 때는 하위 수준 재구성을 위해 전체 경로 차단 해제가 필요하다는 것을 레이어별 활성화 기울기 및 Delta-CKA 동역학의 공동 분석을 통해 확인했습니다.
시사점, 한계점
•
시사점:
◦
Transformer 모델의 미세 조정 시 기울기 억제 현상을 분석하고, 변곡점 레이어에서 발생하는 문제를 진단하는 메트릭을 제안합니다.
◦
LoRA 어댑터를 변곡점 레이어에 선택적으로 삽입하여 성능을 향상시키는 진단-우선, 경량 주입 미세 조정 전략을 제시합니다.
◦
과다 훈련된 초기화와 과소 훈련된 초기화 환경에서의 LoRA 적용 효과를 실험적으로 분석하여, 모델 훈련 상태에 따른 적절한 전략을 제시합니다.
◦
기본 특징의 강약에 따라 다른 수준의 차단 해제가 필요하다는 것을 밝혀, 모델 적응 전략의 유연성을 제시합니다.
•
한계점:
◦
SST-2 to Rotten Tomatoes 간 전이 실험만 수행되어, 다른 데이터셋 및 모델 아키텍처에 대한 일반화 가능성이 제한적일 수 있습니다.
◦
LoRA 어댑터 외 다른 경량화 기법과의 비교 분석이 부족합니다.
◦
변곡점 레이어 식별을 위한 메트릭의 최적 설정 및 임계값 설정에 대한 추가 연구가 필요합니다.
◦
본 논문에서 제안하는 방법론이 다양한 도메인 및 작업에 대해 일관된 성능 향상을 보장하는지에 대한 추가 검증이 필요합니다.
