Este artículo presenta tres desventajas principales Limitations (mesetas de rendimiento, efectividad limitada de la auto-reflexión y falla persistente) del aprendizaje de refuerzo (RL) usando solo recompensas numéricas, y propone Critique-GRPO, un novedoso marco de aprendizaje de refuerzo que integra la crítica del lenguaje natural, para superarlas. Critique-GRPO realiza la optimización de la política aprovechando simultáneamente la retroalimentación numérica y del lenguaje natural, y en particular, utiliza una función de modelado que mejora el aprendizaje para correcciones correctas (especialmente desconocidas) y penaliza las correcciones incorrectas. Los resultados experimentales con los modelos Qwen2.5 y Qwen3 muestran que Critique-GRPO supera consistentemente el aprendizaje supervisado convencional y los métodos de ajuste fino basados en RL en ocho tareas de inferencia diversas, mejorando las puntuaciones promedio de pase a 1 en aproximadamente 4.4% y 3.8%, respectivamente. En particular, demuestra la auto-superación efectiva a través de la autocrítica y la mejora del rendimiento de la generalización débil a la generalización fuerte.
