Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Una teoría del aprendizaje con cadena de pensamiento autorregresiva

Created by
  • Haebom

Autor

Nirmit Joshi, Gal Vardi, Adam Block, Surbhi Goel, Zhiyuan Li, Theodor Misiakiewicz, Nathan Srebro

Describir

Este artículo considera el aprendizaje de un mapeo de propuesta-respuesta, donde un generador invariante en el tiempo itera a través de múltiples pasos para generar una cadena de pensamiento, dada una clase base que genera una secuencia de tokens, y el token final se utiliza como respuesta. Formulamos el problema de aprendizaje tanto para los casos donde se observa el proceso de pensamiento como para los casos donde el proceso de pensamiento se aprende solo a partir de pares de propuesta-respuesta (cuando el proceso de pensamiento es latente), y analizamos la muestra y la complejidad computacional para clases base específicas, como las propiedades generales de la clase base (p. ej., dimensión VC) y los umbrales lineales. Presentamos una clase base simple que permite aprender una cadena de pensamiento universalmente representable y computacionalmente manejable, y su complejidad de muestra es independiente de la longitud de la cadena de pensamiento debido a su invariancia temporal. La atención se introduce naturalmente en este estudio.

Takeaways, Limitations

Takeaways:
Al demostrar que la complejidad de la muestra del aprendizaje de procesos de pensamiento utilizando generadores invariantes en el tiempo no depende de la longitud del proceso de pensamiento, sugerimos la posibilidad de aprender eficientemente procesos de pensamiento largos.
Proponemos una nueva clase base para aprender procesos de pensamiento universalmente expresables y computacionalmente eficientes.
Proporcionamos un marco novedoso en el que los mecanismos de atención se inducen de forma natural.
Limitations:
Falta validación experimental del rendimiento real y la capacidad de generalización de la clase base propuesta.
Las limitaciones del supuesto de invariancia temporal cuando se aplica a problemas del mundo real no están claras.
Se necesita más investigación para modelar eficazmente los procesos de pensamiento complejos.
👍