Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Middo: Optimización dinámica de datos basada en modelos para un mejor ajuste de LLM mediante aprendizaje de circuito cerrado

Created by
  • Haebom

Autor

Zinan Tang, Xin Gao, Qizhi Pei, Zhuoshi Pan, Mengzhang Cai, Jiang Wu, Conghui He, Lijun Wu

Describir

Este artículo propone Middo, un novedoso marco para el ajuste fino mediante aprendizaje supervisado (SFT) de modelos lingüísticos a gran escala (LLM). Para superar las limitaciones de los enfoques existentes basados ​​en conjuntos de datos estáticos, Middo construye un sistema dinámico de optimización de datos que evoluciona en función del rendimiento del modelo. Mediante patrones de pérdida, la integración de dinámicas de clústeres y puntuaciones de autoalineación, Middo identifica muestras ineficientes y las transforma en valiosas para la educación. Este proceso mejora continuamente el conjunto de datos a medida que mejoran las capacidades del modelo, logrando una mejora promedio de la precisión del 7,15 % en múltiples experimentos de referencia. Esto presenta un nuevo paradigma para el aprendizaje sostenible de LLM mediante la coevolución dinámica de datos y modelos.

Takeaways, Limitations

Takeaways:
Mejoramos significativamente la eficiencia del aprendizaje LLM al presentar un sistema dinámico de optimización de datos que evoluciona continuamente a medida que mejora el rendimiento del modelo.
Superamos las limitaciones del SFT basado en conjuntos de datos estáticos existentes y proponemos un método de aprendizaje LLM más efectivo.
Presentamos un enfoque novedoso para evaluar y mejorar la calidad de los datos aprovechando diversas señales del modelo.
Verificamos la efectividad de Middo a través de resultados experimentales que muestran una mejora promedio en la precisión del 7,15%.
Presentamos un paradigma de aprendizaje LLM sostenible a través de la evolución mutua de datos y modelos.
Limitations:
La verificación de la reproducibilidad es difícil porque el conjunto de datos, el modelo y el código actuales no están disponibles públicamente.
El rendimiento de generalización en varios LLM y tareas no ha sido suficientemente validado.
Falta análisis de la complejidad y el costo computacional del marco Middo.
👍