Este artículo aborda el problema de la opacidad de los mecanismos internos, especialmente debido al uso de redes neuronales profundas, a pesar del reciente éxito de los modelos de inteligencia artificial (IA). Estudiamos varios métodos propuestos para comprender los mecanismos internos de los modelos de IA y explicar sus resultados, agrupándolos bajo el campo de la IA explicable (XAI). En particular, nos centramos en el aprendizaje por refuerzo explicable (XRL), un subcampo de XAI que explica el comportamiento de los agentes aprendidos mediante aprendizaje por refuerzo, y proponemos una taxonomía intuitiva basada en dos preguntas: "Qué" y "Cómo". "Qué" se centra en el objeto de explicación, y "Cómo" se centra en el método de explicación. Utilizando esta taxonomía, revisamos las últimas tendencias de investigación de más de 250 artículos, sugerimos áreas de investigación prometedoras relacionadas con XRL y sugerimos la necesidad del campo XRL.