Cet article aborde les défis des modèles linguistiques à grande échelle (LLM), confrontés à des difficultés telles que les hallucinations et les risques de sécurité liés aux limitations des données d'entraînement statiques. Si le paradigme de localisation et d'édition, qui modifie les connaissances internes du modèle, s'est avéré être une alternative rentable au réentraînement, les approches non structurées actuelles, en particulier les méthodes autorégressives basées sur des fenêtres, perturbent souvent les dépendances causales entre les mises à jour initiales de la mémoire et les jetons de sortie ultérieurs. Cette étude analyse théoriquement ces limitations et présente l'édition de connaissances non structurées Matryoshka ($\mu$KE), un nouveau mécanisme de mise à jour de la mémoire qui préserve ces dépendances grâce à des objectifs de type Matryoshka et des coefficients de perte adaptatifs. Des évaluations expérimentales sur quatre benchmarks pour deux modèles démontrent que $\mu$KE améliore l'efficacité de l'édition jusqu'à 12,33 % par rapport aux méthodes de pointe et reste robuste sous différents formats d'édition, soulignant le potentiel d'une édition efficace des connaissances non structurées dans les LLM.
