Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Para eliminar las alucinaciones de LLM es necesario repensar la generalización
Created by
Haebom
Autor
Johnny Li, Cónsul de Saksham, Eda Zhou, James Wong, Naila Farooqui, Yuxin Ye, Nithyashree Manohar, Zhuxiaona Wei, Tian Wu, Ben Echols, Sharon Zhou, Gregory Diamos
Describir
Este artículo demuestra experimentalmente que la comprensión convencional de las alucinaciones en modelos lingüísticos a gran escala (LLM), una cuestión de equilibrio entre creatividad y realismo, es, de hecho, inexacta. Mediante experimentos de memorización de grandes conjuntos de datos de dígitos aleatorios y modelos teóricos, demostramos que las alucinaciones en LLM ocurren cuando la pérdida de entrenamiento supera un umbral determinado y son un fenómeno común en el entrenamiento de datos a escala de internet. Destacamos las limitaciones de las técnicas existentes de mitigación de alucinaciones (que utilizan fuentes de conocimiento externas) y proponemos un nuevo modelo de reducción de alucinaciones, Lamini-1, que busca dinámicamente entre millones de expertos en memoria.
Takeaways, Limitations
•
Takeaways: Contribuyó a mejorar la fiabilidad de la LLM al revelar imprecisiones en la comprensión existente sobre las causas de las alucinaciones en la LLM y al proponer un nuevo modelo de eliminación de alucinaciones, Lamini-1. Presentó un enfoque novedoso para el problema de las alucinaciones en la LLM.
•
Limitations: Se requiere una mayor validación del rendimiento práctico y la escalabilidad del modelo Lamini-1. Se requiere mayor investigación para determinar su eficacia para todo tipo de alucinaciones. También se requiere una evaluación del coste computacional y los requisitos de memoria de Lamini-1.
