# The Topological Trouble With Transformers

### 저자

Michael C. Mozer, Shoaib Ahmed Siddiqui, Rosanne Liu

### 💡 개요

본 논문은 트랜스포머의 순수 피드포워드 구조가 동적 상태 추적을 근본적으로 제한하여, 입력 시퀀스가 길어질수록 정보 손실 및 모델 깊이의 한계를 야기한다는 문제를 제기합니다. 이에 대한 해결책으로 외부 저장 공간 사용의 비효율성을 지적하며, 암묵적인 활성화 동학을 활용하는 순환 구조로의 전환을 제안합니다. 논문은 순환 및 연속 사고 트랜스포머의 분류 체계를 제시하고, 상태 추적 능력을 향상시키기 위한 연구 방향을 탐색합니다.

### 🔑 시사점 및 한계

- 트랜스포머의 정보 처리 방식에 내재된 동적 상태 추적의 근본적인 한계를 명확히 진단합니다.

- 순환 신경망 구조를 통해 트랜스포머의 상태 추적 능력을 향상시킬 수 있는 새로운 관점을 제시합니다.

- 제안된 분류 체계와 연구 방향은 향후 트랜스포머 기반 모델의 상태 추적 성능 개선에 기여할 수 있습니다.

- 논문에서 제시하는 순환 구조의 구체적인 구현 및 효율성 검증이 필요합니다.

---

[PDF 보기](https://arxiv.org/pdf/2604.17121)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).