Este artículo señala que, a pesar de los recientes avances en modelos de lenguaje a gran escala (LLM) en la exploración visual del lenguaje (VLN), estos aún carecen de la capacidad de integrar plenamente el conocimiento empírico y evolucionar debido a su base de conocimiento fija y a su capacidad de razonamiento. Para abordar este problema, proponemos un marco VLN autoevolutivo (SE-VLN) que puede evolucionar continuamente durante las pruebas, inspirado en la capacidad evolutiva de los agentes naturales. SE-VLN consta de tres módulos principales: un módulo de memoria jerárquica que transforma los casos de éxito y fracaso en conocimiento reutilizable, un módulo de razonamiento basado en el pensamiento aumentado por la recuperación que recupera experiencias y permite la toma de decisiones en varios pasos, y un módulo de reflexión que realiza una evolución continua. Logra mejoras absolutas de rendimiento del 23,9% y el 15,0% sobre los métodos de vanguardia existentes en los conjuntos de datos R2R y REVERSE, respectivamente, y alcanza tasas de éxito de exploración del 57% y el 35,2% en entornos desconocidos. Además, muestra que el rendimiento mejora a medida que aumenta el repositorio de experiencias, lo que demuestra un gran potencial como marco de agente en evolución automática para VLN.