Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Difusión discreta en lenguajes extensos y modelos multimodales: un estudio
Created by
Haebom
Autor
Runpeng Yu, Qi Li, Xinchao Wang
Describir
Este artículo presenta un estudio sistemático del Modelo de Lenguaje de Difusión Discreta (dLLM) y el Modelo de Lenguaje Multimodal de Difusión Discreta (dMLLM). A diferencia de los modelos autorregresivos (AR), dLLM y dMLLM emplean un paradigma de decodificación paralela multitoken que utiliza atención completa y una estrategia de generación basada en la eliminación de ruido. Este paradigma permite de forma natural la generación paralela, el control de salida de grano fino y el reconocimiento dinámico, características que antes eran difíciles de lograr con los modelos AR. Muchos d(M)LLM propietarios a escala industrial y numerosos d(M)LLM académicos de código abierto han demostrado un rendimiento comparable al de los modelos autorregresivos, con velocidades de inferencia hasta un orden de magnitud más rápidas. Estos avances posicionan a los modelos de difusión discreta como alternativas prometedoras a los enfoques autorregresivos tradicionales para la inteligencia. Este artículo presenta una visión general completa de la investigación en los campos dLLM y dMLLM. Rastreamos el desarrollo histórico de dLLM y dMLLM, formalizamos su marco matemático subyacente y categorizamos los modelos representativos. También analizamos tecnologías clave para el aprendizaje y la inferencia, y resumimos aplicaciones emergentes en áreas como el lenguaje, la visión-lenguaje y la biología. Finalmente, discutimos las futuras líneas de investigación y desarrollo. Artículos relacionados se pueden encontrar en https://github.com/LiQiiiii/Awesome-Discrete-Diffusion-LLM_MLLM .
Demostramos que los modelos de difusión discreta pueden alcanzar velocidades de inferencia hasta 10 veces más rápidas que los modelos autorregresivos.
◦
Proporciona características que son difíciles de lograr en modelos autorregresivos, como generación paralela, control de salida de grano fino y reconocimiento dinámico.
◦
Sugiere posibles aplicaciones en diversos campos (lenguaje, visión-lingüística, biología, etc.).
◦
Proporciona un estudio sistemático y una clasificación de dLLM y dMLLM.
•
Limitations:
◦
El artículo carece de referencias específicas a Limitations o limitaciones.
◦
Puede que falte un análisis detallado de la comparación del rendimiento de los modelos presentados.
◦
La discusión sobre futuras direcciones de investigación podría ser más específica.
