본 논문은 Transformer 모델에서 어텐션 메커니즘, 특히 위치 정보에만 의존하는 위치 어텐션(positional attention)의 역할을 알고리즘 실행 능력 측면에서 연구합니다. 병렬 계산 모델에서 위치 정보만을 이용한 통신이 가능하다는 점에 착안하여, 위치 어텐션만을 사용하는 Transformer(positional Transformer)가 알고리즘을 실행하는 능력을 이론적, 실험적으로 분석합니다. positional Transformer가 병렬 계산 모델과 동일한 표현력을 유지하며, 입력 길이에 대해 로그 시간 복잡도를 가짐을 증명하고, 학습 가능성과 매개변수 규범이 표본 복잡도에 미치는 영향을 분석합니다. 실험 결과, 위치 어텐션은 매개변수 규범에 대한 이론적 의존성은 개선하지만, 특정 작업에서는 더 많은 레이어를 필요로 하여 표본 복잡도를 증가시킬 수 있음을 보여줍니다. 마지막으로, positional Transformer의 분포 외 성능을 실험적으로 평가하여, 기저 알고리즘 해법이 위치 정보에 의존하는 작업에서 우수한 성능을 보임을 확인합니다.
