Este artículo argumenta que comprender el comportamiento de los modelos de lenguaje a gran escala (LLM) es crucial para su uso seguro y confiable. Sin embargo, los métodos de IA explicable (XAI) existentes se basan principalmente en explicaciones a nivel de palabra, que son computacionalmente ineficientes e incompatibles con el razonamiento humano. Además, abordamos el problema de tratar las explicaciones como resultados únicos, pasando por alto la naturaleza interactiva e iterativa de las explicaciones. En respuesta, presentamos LLM Analyzer, un sistema de visualización interactivo que permite la exploración intuitiva y eficiente del comportamiento de los LLM a través del análisis contrafáctico. LLM Analyzer presenta un novedoso algoritmo que genera contrafácticos fluidos y semánticamente significativos mediante operaciones de eliminación y sustitución dirigidas a objetivos con un nivel de granularidad definido por el usuario. Estos contrafácticos se utilizan para calcular las puntuaciones de atribución de características y se integran con ejemplos concretos en visualizaciones basadas en tablas para respaldar el análisis dinámico del comportamiento del modelo. Los estudios de usuarios y las entrevistas con expertos de LLM demuestran la usabilidad y eficacia del sistema, destacando la importancia de involucrar a los humanos en el proceso de explicación como participantes activos, en lugar de receptores pasivos.
