Cet article souligne que malgré les avancées récentes des modèles de langage à grande échelle (LLM) en exploration visuelle du langage (VLN), ces derniers ne parviennent toujours pas à intégrer pleinement les connaissances empiriques et à évoluer en raison de leur base de connaissances et de leur capacité de raisonnement fixes. Pour résoudre ce problème, nous proposons un cadre VLN auto-évolutif (SE-VLN) capable d'évoluer en continu pendant les tests, inspiré par la capacité évolutive des agents naturels. SE-VLN se compose de trois modules principaux : un module de mémoire hiérarchique qui transforme les cas de réussite et d'échec en connaissances réutilisables ; un module de raisonnement basé sur la pensée augmentée par la récupération qui récupère les expériences et permet la prise de décision en plusieurs étapes ; et un module de réflexion qui réalise une évolution continue. Il permet d'obtenir des améliorations de performance absolues de 23,9 % et 15,0 % par rapport aux méthodes de pointe existantes sur les jeux de données R2R et REVERSE, respectivement, et atteint des taux de réussite d'exploration de 57 % et 35,2 % dans des environnements inconnus. De plus, il montre que les performances s'améliorent à mesure que le référentiel d'expérience augmente, démontrant un grand potentiel en tant que cadre d'agent auto-évolutif pour VLN.