Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

RePPL: Recalibración de la perplejidad mediante la incertidumbre en la propagación semántica y la generación del lenguaje para la detección de alucinaciones con control de calidad explicable

Created by
  • Haebom

Autor

Yiming Huang, Junyan Zhang, Zihao Wang, Biquan Bie, Yunzhong Qiu, Yi R. Fung, Xinlei He

Describir

Este artículo propone RePPL, un método novedoso para resolver el problema de las alucinaciones en modelos lingüísticos a gran escala (LLM). Los métodos existentes de detección de alucinaciones se centran en la medición de la incertidumbre, pero no logran explicar la causa de las alucinaciones. Para superar esta limitación, calculamos una puntuación de incertidumbre a nivel de token considerando tanto la incertidumbre generada durante la propagación semántica como la generación del lenguaje. Estas puntuaciones se agregan posteriormente como una media logarítmica de perplejidad para obtener una puntuación general de alucinaciones. Nuestro método demuestra un excelente rendimiento, alcanzando un AUC promedio de 0,833 en diversos conjuntos de datos de control de calidad y modelos de vanguardia, lo que demuestra la utilidad de las puntuaciones de incertidumbre a nivel de token para explicar la causa de las alucinaciones.

Takeaways, Limitations

Takeaways:
Un nuevo enfoque para resolver el problema de la alucinación en el LLM (teniendo en cuenta la incertidumbre en el proceso de propagación del significado y la producción del lenguaje)
Los puntajes de incertidumbre a nivel de token proporcionan una posible explicación de la causa de las alucinaciones.
Excelente rendimiento de detección de alucinaciones (AUC promedio 0,833) en varios conjuntos de datos de control de calidad y modelos de última generación.
Descubrimiento y explotación de patrones confusos de alucinaciones
Limitations:
La evaluación del rendimiento de RePPL se limita a un conjunto de datos de control de calidad específico y a modelos de vanguardia. Se requieren experimentos adicionales con una gama más amplia de conjuntos de datos y modelos.
El análisis de patrones de alucinaciones utilizando puntajes de incertidumbre a nivel de token aún se encuentra en sus primeras etapas y requiere un análisis y validación más profundos.
Se necesita más investigación sobre el rendimiento de generalización y la escalabilidad del método propuesto.
👍