Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Informe técnico: Pronóstico y planificación de las leyes de escala del movimiento
Created by
Haebom
Autor
Mustafa Baniodeh, Kratarth Goel, Scott Ettinger, Carlos Fuertes, Ari Seff, Tim Shen, Cole Gulino, Chenjie Yang, Ghassen Jerfel, Dokook Choe, Rui Wang, Benjamin Charrow, Vinutha Kallem, Sergio Casas, Rami Al-Rfou, Benjamin Sapp, Dragomir Anguelov
Describir
Estudiamos las leyes de escalamiento empírico de la familia de modelos Transformer autorregresivos de codificador-decodificador para tareas de predicción y planificación del movimiento articular en conducción autónoma. Utilizando un conjunto de datos de conducción de 500.000 horas, demostramos que el rendimiento del modelo mejora como una función de ley de potencia del presupuesto computacional total, de forma similar al modelado de lenguajes, y que existe una fuerte correlación entre la pérdida de entrenamiento del modelo y las métricas de evaluación del mismo. Curiosamente, las métricas de bucle cerrado también mejoran con el escalamiento, lo que tiene importantes implicaciones para la idoneidad de las métricas de bucle abierto para el desarrollo de modelos y los enfoques ascendentes. También estudiamos el escalamiento óptimo del número de parámetros de Transformer y el tamaño de los datos de entrenamiento para modelos optimizados para el cómputo de entrenamiento. Descubrimos que un escalamiento óptimo requiere aumentar el tamaño del modelo 1,5 veces más rápido que el tamaño del conjunto de datos a medida que aumenta el presupuesto computacional de entrenamiento. También estudiamos el escalamiento del cómputo del tiempo de inferencia, demostrando que el muestreo y la agrupación de las salidas de modelos más pequeños los hacen competitivos con los modelos más grandes, y que, más allá de un punto de cruce, los modelos más grandes alcanzan una mayor eficiencia de cómputo de inferencia. En general, los resultados experimentales demuestran que optimizar las características de escalado temporal de entrenamiento e inferencia de los modelos de predicción y planificación de movimiento es clave para mejorar el rendimiento en diversos escenarios de conducción. Finalmente, exploramos brevemente la utilidad de utilizar datos de conducción registrados por otros agentes para mejorar el rendimiento de los agentes propios, un área crucial de investigación que aborda la escasez de datos robóticos para el entrenamiento de modelos a gran escala.
Takeaways, Limitations
•
Takeaways:
◦
Demostramos empíricamente que el rendimiento del modelo mejora como una función de ley de potencia del presupuesto computacional total.
◦
Se encontró una fuerte correlación entre la pérdida de entrenamiento del modelo y las métricas de evaluación del modelo.
◦
También confirmamos que el indicador de circuito cerrado mejora con la escala, lo que sugiere las limitaciones del indicador de circuito abierto.
◦
Presentamos estrategias de escalamiento óptimas para el tamaño del modelo y el tamaño del conjunto de datos para optimizar el cálculo del entrenamiento.
◦
Sugerir la posibilidad de mejorar la eficiencia del cálculo del tiempo de inferencia a través del muestreo de salida y la agrupación de modelos pequeños.
◦
Sugerir la posibilidad de mejorar el rendimiento de los autoagentes utilizando datos de otros agentes.
•
Limitations:
◦
El tema de investigación se limita a una serie específica de modelos de transformadores.
◦
Utilizando un conjunto de datos de conducción de 500.000 horas, se necesita más investigación para determinar la generalización de los datos.
◦
Se necesita más análisis y explicación sobre la mejora del indicador de circuito cerrado.
◦
Se necesita una mayor validación del rendimiento de la generalización en diversos escenarios de conducción.
◦
Se necesita una investigación más profunda sobre cómo otros agentes aprovechan los datos.
