본 논문은 딥러닝의 기억 메커니즘 연구에서 널리 사용되는 Hopfield 네트워크와 self-attention 간의 관계를 탐구합니다. 특히, 기존의 근사적인 접근 방식을 넘어, Modern Hopfield Network (MHN)에서 파생된 hidden state를 self-attention에 추가하여 보다 일반화된 형태의 연결을 제시합니다. 이 새로운 attention 메커니즘인 Modern Hopfield Attention (MHA)은 Transformer의 입력 레이어에서 출력 레이어로 attention score를 전달하여 attention weight의 품질을 향상시킵니다. MHA는 이론적 및 실험적으로 Transformer의 주요 문제점인 rank collapse 및 token uniformity를 개선하며, Vision Transformer 또는 GPT에 파라미터를 추가하지 않고도 정확도를 향상시킬 수 있음을 보여줍니다.
