본 논문은 Transformer의 제한적인 메모리 용량과 온라인 업데이트 방식, 제한적인 메모리 관리 방식의 세 가지 단점을 해결하기 위해 새로운 장기 메모리 모듈 ATLAS를 제시합니다. ATLAS는 현재 및 과거 토큰을 기반으로 메모리를 최적화하여 장기 메모리 모델의 온라인 특성을 극복하고, 높은 용량의 메모리를 통해 긴 문맥 이해를 개선합니다. 이를 기반으로 기존 Transformer 아키텍처의 일반화된 새로운 아키텍처인 DeepTransformers를 제안합니다. 다양한 실험 결과를 통해 ATLAS가 Transformer와 최신 선형 순환 모델보다 우수한 성능을 보이며, 특히 BABILong 벤치마크에서 10M 문맥 길이에서 80% 이상의 정확도 향상을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
Transformer의 장기 메모리 한계를 극복하는 새로운 아키텍처 ATLAS와 DeepTransformers 제시.
◦
긴 문맥 이해와 추론 작업에서 기존 모델들을 능가하는 성능 향상.
◦
BABILong 벤치마크에서 극적인 성능 향상을 통해 장기 메모리 모델의 가능성 제시.
•
한계점:
◦
ATLAS와 DeepTransformers의 계산 복잡도 및 메모리 요구량에 대한 상세한 분석 부족.
