Cet article présente le framework TPTT (Transforming Pretrained Transformers into Titans) afin de réduire les besoins en calcul et en mémoire des modèles de langage à grande échelle (LLM) basés sur les Transformers. TPTT ajoute l'attention linéarisée (LiZA) et la gestion de la mémoire (MaG) aux Transformers pré-entraînés, permettant ainsi un réglage fin efficace des paramètres (LoRA) et une intégration avec des boîtes à outils standard telles que les Hugging Face Transformers. Nous évaluons l'implémentation de TPTT sur des modèles pré-entraînés de différentes tailles, notamment Llama-1B et OlMoE-1B-7B, et démontrons des améliorations d'efficacité et de précision sur des modèles comportant environ un milliard de paramètres, en nous basant sur le benchmark MMLU. Plus précisément, Titans-Llama-1B permet d'obtenir jusqu'à 20 % d'amélioration de la précision lors d'une évaluation ponctuelle. De plus, nous démontrons que les modèles d'attention quadratique peuvent être transformés en modèles d'attention purement linéaires grâce au mécanisme DeltaProduct. Cela démontre que l'apprentissage avec des ressources de calcul limitées est réalisable et pourrait être bénéfique pour l'application des LLM pré-entraînés à des tâches à contexte long.
