본 논문은 트랜스포머의 셀프 어텐션을 그래프 신호 처리(GSP) 관점에서 재해석하여, 기존의 셀프 어텐션이 1차 다항식 행렬로 정의된 저역 통과 필터에 불과하여 다양한 주파수 정보 활용에 제한적임을 지적합니다. 이를 개선하기 위해, 선형 복잡도(O(nd²), n은 입력 길이, d는 차원)를 유지하면서 특이값 영역에서 그래프 필터를 학습하는 새로운 방법인 어텐티브 그래프 필터(AGF)를 제안합니다. AGF는 유향 그래프를 고려하며, Long Range Arena 벤치마크와 시계열 분류 등 다양한 작업에서 최첨단 성능을 달성함을 실험적으로 보여줍니다.
