본 논문은 대규모 생성 AI의 발전에 기여한 어텐션 메커니즘이 소규모 애플리케이션에서는 기존의 다층 퍼셉트론이나 순환 신경망보다 우수한 성능을 보이지 않는다는 문제를 다룬다. 특히, 작업 전환(task switching) 프레임워크에서 증가/덧셈/역순 복사/컨텍스트(IARC)라는 하위 작업으로 구성된 유한 영역 연산 기반의 기준 모델을 사용하여 어텐션 기반 모델의 성능을 평가한다. 실험 결과, 표준 트랜스포머, LSTM, MLP는 모두 비슷하고 낮은 예측 정확도를 보였다. 반면, 트랜스포머의 변형인 시스포머(cisformer)와 확장된 어텐션 메커니즘을 결합한 모델만이 약 95%의 높은 성능을 달성했다. 이를 통해 작업 전환 설정에서 서로 다른 어텐션 메커니즘의 성능을 비교 분석함으로써 어텐션 메커니즘의 작동 원리를 더 잘 이해하고 개선할 수 있음을 시사한다.
