Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Beneficios demostrables del aprendizaje en la herramienta para modelos de lenguaje grandes

Created by
  • Haebom

Autor

Sam Houliston, Ambroise Odonnat, Charles Arnal, Vivien Cabannes

Describir

Este artículo explora teóricamente los beneficios de los modelos de lenguaje basados ​​en herramientas (p. ej., recuperación externa, memoria y API). Específicamente, demostramos la superioridad del aprendizaje basado en herramientas (recuperación externa) sobre el aprendizaje ponderado (memorización) en términos de representación de información factual. Si bien el número de parámetros del modelo limita fundamentalmente el número de hechos que se pueden memorizar, demostramos que el aprendizaje basado en herramientas permite una representación de hechos infinita mediante circuitos simples y eficientes. Experimentos controlados demuestran que los modelos basados ​​en herramientas superan a los modelos de memorización, lo que demuestra que enseñar aprendizaje basado en herramientas y reglas generales es más efectivo que memorizar hechos en un modelo de lenguaje preentrenado a gran escala. En conclusión, demostramos, mediante evidencia teórica y experimental, que los flujos de trabajo basados ​​en herramientas no solo son prácticos, sino también teóricamente superiores en términos de escalabilidad.

Takeaways, Limitations

Takeaways:
Al dilucidar la superioridad teórica de los modelos de lenguaje basados ​​en herramientas, enfatizamos la importancia de la utilización de herramientas.
Revelamos las limitaciones del aprendizaje ponderado (memorización) y demostramos la escalabilidad infinita del aprendizaje instrumental (búsqueda externa).
Validamos experimentalmente la efectividad del aprendizaje basado en herramientas en modelos de lenguaje a gran escala previamente entrenados.
Proporcionamos soporte teórico y experimental para la practicidad y escalabilidad de los flujos de trabajo basados ​​en herramientas.
Limitations:
Este artículo se centra principalmente en la representación de información factual, y su generalización a otros tipos de tareas de modelado del lenguaje requiere más investigación.
Debido a que el entorno experimental fue controlado, el desempeño de la generalización en situaciones complejas del mundo real requiere una validación adicional.
La efectividad del uso de las herramientas puede verse afectada por la calidad y la accesibilidad de las mismas, y es posible que estas variables no se tengan en cuenta.
👍