본 논문은 Transformer 기반 대형 모델에서 발생하는 주의력 싱크(attention sinks) 및 값-상태 드레인(value-state drains)과 같은 극단적 토큰 현상을 해결하기 위한 Value-State Gated Attention (VGA)을 제안합니다. 이러한 문제는 모델의 성능 저하, 양자화 충실도 저하, 해석 가능성 감소를 야기하며, 모델이 거의 0에 가까운 값 상태를 가진 토큰에 주의를 집중하는 비효율적인 'no-op' 행동을 학습하는 상호 강화 메커니즘에서 발생합니다. VGA는 값 벡터(V)로부터 직접 계산되는 학습 가능한 데이터 종속 게이트를 도입하여 출력을 조절함으로써 이 문제를 해결합니다. 제안된 VGA는 값 상태를 자체 함수로 게이팅하여 기존의 입력 임베딩 기반 게이팅 방식보다 더 효과적으로 값 및 주의 점수 업데이트를 분리합니다. 실험 결과 VGA는 주의력 싱크 형성을 유의미하게 완화하고 값-상태 노름을 안정화시켜 성능 향상, 양자화 충실도 개선, 모델 해석 가능성 향상을 이끌었습니다.
