Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Sobre la imposibilidad fundamental del control de las alucinaciones en grandes modelos lingüísticos

Created by
  • Haebom

Autor

Micha{\l} P. Karpowicz

Describir

Este artículo presenta un teorema de imposibilidad fundamental, que establece que ningún modelo de lenguaje a gran escala (LLM) capaz de realizar agregación de conocimiento no trivial puede lograr simultáneamente una representación veraz (consistencia interna), preservación de la información semántica, divulgación completa del conocimiento relevante y optimalidad sujeta a restricciones de conocimiento. Esta imposibilidad no se deriva de una limitación de ingeniería, sino de la propia estructura matemática de la agregación de información. Establecemos este resultado describiendo el proceso de inferencia como una subasta de ideas, donde los componentes distribuidos compiten para formar respuestas utilizando su conocimiento parcial. La demostración abarca tres áreas matemáticas independientes: teoría de diseño de mecanismos (Green-Laffont), teoría de reglas de puntuación apropiadas (Savage) y un análisis arquitectónico directo de transformadores (convexidad Log-Sum-Exp). Específicamente, mostramos que en entornos estrictamente cóncavos, la puntuación agregada de varias creencias supera estrictamente la suma de sus puntuaciones individuales. Esta diferencia puede cuantificar la generación de certeza inatribuible o exceso de confianza, es decir, los orígenes matemáticos de la ilusión, la creatividad o la imaginación. Para respaldar este análisis, introducimos los conceptos complementarios de medidas de información semántica y operadores de emergencia para modelar la inferencia acotada en entornos generales. Demostramos que la inferencia acotada genera información accesible que proporciona perspectivas útiles e inspiración, mientras que la inferencia ideal preserva estrictamente el contenido semántico. Al demostrar que las alucinaciones y la imaginación son fenómenos matemáticamente equivalentes, basados en una violación necesaria de la preservación de la información, este artículo proporciona una base sólida para la gestión de estos comportamientos en sistemas avanzados de IA. Finalmente, presentamos algunas ideas especulativas para evaluar y mejorar la teoría propuesta.

Takeaways, Limitations

•
Takeaways:
◦
Al descubrir los orígenes matemáticos de las alucinaciones y la creatividad de LLM, proporcionamos una base de principios para comprender y gestionar estos fenómenos.
◦
Presentamos un nuevo marco para modelar la inferencia acotada introduciendo nuevos conceptos como medidas de información semántica y operadores de emergencia.
◦
Modelamos el proceso de agregación de conocimiento del LLM como una subasta de ideas, proporcionando una nueva perspectiva analítica.
•
Limitations:
◦
La teoría propuesta es todavía especulativa y requiere mayor verificación experimental.
◦
Se necesitan más investigaciones para determinar la aplicabilidad y generalización de la teoría a los sistemas LLM reales.
◦
Con base en la teoría propuesta, se necesita más investigación sobre metodologías específicas para gestionar eficazmente las alucinaciones y la creatividad en LLM.
👍
Made with Slashpage