Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Este artículo presenta una arquitectura novedosa para mejorar la eficiencia de tokens considerando que los modelos de lenguaje a gran escala (LLM) están sujetos a restricciones de datos en lugar de computacionales. Proponemos un Transformador 2-simplicial que generaliza la atención convencional del producto escalar a una función trilineal y demostramos experimentalmente que logra una mayor eficiencia de tokens que el Transformador estándar mediante una implementación eficiente utilizando el kernel Triton. En particular, demostramos que los modelos de tamaño similar superan a los modelos basados en la atención del producto escalar con un presupuesto de tokens fijo para tareas de matemáticas, programación, razonamiento y lógica, y analizamos cuantitativamente el cambio exponencial de la ley de escalamiento para tareas de conocimiento y razonamiento.
Takeaways, Limitations
•
Takeaways:
◦
Destacamos la necesidad de arquitecturas LLM eficientes en términos de tokens y proponemos que el Transformer compuesto 2-simple es una solución prometedora para esto.
◦
Señalamos las limitaciones de las leyes de escalamiento existentes y mostramos la posibilidad de proponer nuevas leyes de escalamiento en entornos con restricciones de datos.
◦
Demostramos experimentalmente el rendimiento superior de dos transformadores complejos simples en tareas específicas que incluyen matemáticas, codificación, razonamiento y lógica.
•
Limitations:
◦
Se necesita más investigación para determinar si las mejoras de rendimiento de la arquitectura propuesta pueden generalizarse a todo tipo de tareas.
◦
Las implementaciones que dependen del kernel Triton pueden tener una generalidad limitada ya que dependen de entornos de hardware específicos.
◦
Se necesitan experimentos adicionales para verificar qué tan generales son los cambios en la ley de escala presentados en el artículo y si se aplican a otras arquitecturas.
