본 연구는 Teo et al.(2024)의 연구에서 제기된 자기 주의 메커니즘이 커널 주성분 분석(KPCA)을 구현한다는 주장을 재검증하는 재현 연구이다. 기존 연구는 값 벡터(V)가 키의 그램 행렬의 고유 벡터를 포착하고, 자기 주의 메커니즘이 특징 공간에서 키 행렬(K)의 주성분 축에 쿼리를 투영한다고 주장했다. 본 연구는 세 가지 중요한 불일치를 밝혀냈다: (1) 학습된 자기 주의 값 벡터와 KPCA 관점에서 제안된 벡터 간의 정렬이 없음 (평균 유사도 측정값이 매우 낮음), (2) KPCA의 투영 오차를 최소화한다는 주장을 뒷받침하는 재구성 손실($J_\text{proj}$) 감소는 수치적 차이로 인해 잘못 해석됨, (3) 값 벡터가 그램 행렬의 고유 벡터를 포착한다는 것을 정당화하기 위해 사용된 그램 행렬 고유값 통계는 문서화되지 않은 구현 특정 조정 없이는 재현 불가능함. 10가지 변압기 아키텍처에 걸쳐, 자기 주의 메커니즘의 KPCA 해석은 경험적 근거가 부족하다는 결론을 내렸다.
