본 연구는 고차 상호작용을 통해 지수적 저장 용량을 달성하는 고밀도 Hopfield 네트워크 프레임워크를 기반으로, 긴 시퀀스 메모리를 위한 새로운 에너지 함수를 제안합니다. 기존의 긴 시퀀스 Hopfield 메모리 모델에 대한 연구를 바탕으로, 시간적 의존성을 통합하는 시간적 커널 K(m, k)를 제안하여 긴 시퀀스에 걸쳐 패턴의 효율적인 순차적 검색을 가능하게 합니다. 고차원 벡터로 구성된 영화 프레임의 저장 및 순차적 검색에 성공적으로 적용되었으며, 고차원 공간에서 순차적 프레임 간에도 충분한 변화가 존재하기 때문에 영화 프레임이 이 기법에 적합합니다. 이 기법은 효율적인 긴 시퀀스 모델링, 메모리 증강, 시간적 편향을 고려한 향상된 어텐션, 시계열 데이터의 장기 의존성 처리 향상 등 현대 트랜스포머 아키텍처에 적용될 수 있습니다. 본 모델은 긴 문맥 작업에서 트랜스포머의 한계를 해결하는 유망한 접근 방식을 제공하며, 자연어 처리, 예측 등 다양한 분야에 적용될 가능성을 가지고 있습니다.
