Cet article aborde la tâche de traitement de textes longs des modèles de langage à grande échelle (MLL) basés sur Transformer. Les LLM sont performants sur les tâches de textes courts, mais leurs performances se dégradent dans les contextes de textes longs. Pour résoudre ce problème, nous passons en revue systématiquement les études récentes et proposons un système de classification les classant en quatre types : codage positionnel, compression de contexte, augmentation de la récupération et schémas d'attention. De plus, nous organisons les données, tâches et métriques pertinentes en nous basant sur les benchmarks de contexte de textes longs existants, et nous nous concentrons sur l'évaluation de ces contextes, résumons les problèmes non résolus et proposons des perspectives de développement futur.
