Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Sobre la imposibilidad fundamental del control de las alucinaciones en grandes modelos lingüísticos

Created by
  • Haebom

Autor

Micha{\l} P. Karpowicz

Describir

Este artículo demuestra que el control perfecto de las alucinaciones es matemáticamente imposible en modelos de lenguaje a gran escala (LLM). Ningún mecanismo de inferencia LLM puede lograr simultáneamente la generación de respuestas veraces, la preservación de la información semántica, la divulgación de conocimiento relevante y la optimización de las restricciones de conocimiento. Esta imposibilidad no es una limitación de ingeniería, sino un problema fundamental que surge de la estructura matemática de la propia agregación de información. Utilizando tres marcos matemáticos (teoría de subastas, teoría de puntajes apropiados para la predicción probabilística y análisis exponencial de suma logarítmica para arquitecturas Transformer), demostramos que la agregación de información viola inevitablemente el principio de preservación. La brecha de Jensen de la agregación de probabilidad de Transformer es una medida directa de esta imposibilidad. Estos resultados redefinen la alucinación como una característica matemática inevitable de la inteligencia distribuida, no un error de ingeniería. Existe un equilibrio fundamental entre la veracidad, la utilización del conocimiento y la completitud de la respuesta, y proporcionan una base sólida para gestionar las alucinaciones en lugar de eliminarlas. Este estudio revela conexiones profundas entre los resultados clásicos en la inferencia de redes neuronales, la filosofía del conocimiento y la inferencia, la teoría de juegos y la teoría de la información, y sugiere nuevas direcciones de investigación para desarrollar sistemas de IA beneficiosos dentro de las restricciones matemáticas.

Takeaways, Limitations

Takeaways:
La maestría en Derecho proporciona una comprensión fundamental del problema de las alucinaciones al revelar que las alucinaciones son un fenómeno matemáticamente inevitable, no un problema de ingeniería.
Al aclarar las compensaciones entre veracidad, utilización del conocimiento y completitud de la respuesta, proporcionamos una base de principios para desarrollar estrategias de manejo de alucinaciones.
Sugiere una nueva dirección para la investigación de IA al conectar varios campos como la inferencia de redes neuronales, la filosofía, la teoría de juegos y la teoría de la información.
Limitations:
Este artículo demuestra la imposibilidad matemática de eliminar completamente las alucinaciones, pero no presenta una metodología específica para gestionarlas eficazmente.
El marco matemático utilizado en la prueba es complejo y puede resultar difícil de entender para los investigadores de IA en general.
Tal vez no sea posible presentar un modelo matemático general que abarque completamente los fenómenos alucinatorios del LLM real.
👍