본 논문은 Transformer 기반 대규모 언어 모델(LLM)의 계산 및 메모리 요구사항을 줄이기 위한 TPTT(Transforming Pretrained Transformers into Titans) 프레임워크를 제시합니다. TPTT는 사전 훈련된 Transformer에 선형화된 어텐션(LiZA)과 메모리 게이팅(MaG)을 추가하여 매개변수 효율적인 미세 조정(LoRA)을 지원하고 Hugging Face Transformers와 같은 표준 툴킷과 통합됩니다. Llama-1B, OlMoE-1B-7B 등 다양한 크기의 사전 훈련된 모델에 적용하여 평가했으며, 약 10억 개의 매개변수를 가진 모델에서 MMLU 벤치마크를 기준으로 효율성과 정확도 향상을 보였습니다. 특히, Titans-Llama-1B는 원샷 평가에서 정확도가 최대 20% 향상되었습니다. 또한, DeltaProduct 메커니즘을 사용하여 이차 어텐션 모델을 순수 선형 어텐션 모델로 변환할 수 있음을 발견했습니다. 제한된 계산 자원으로 훈련이 가능하며, 긴 컨텍스트 작업에 사전 훈련된 LLM을 적용하는 데 도움이 될 수 있음을 시사합니다.
