Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Aprendiendo lo que importa: Selección probabilística de tareas mediante información mutua para el ajuste fino del modelo

Created by
  • Haebom

Autor

Prateek Chanda, Saral Sureka, Parth Pratim Chatterjee, Krishnateja Killamsetty, Nikhil Shivakumar Nayak, Ganesh Ramakrishnan

Describir

Este artículo destaca que el rendimiento del ajuste fino de los modelos de lenguaje a gran escala (LLM) depende en gran medida de la composición de la mezcla de datos de entrenamiento; sin embargo, el proceso de selección de la mezcla óptima de datos es manual y heurístico. Por lo tanto, proponemos TASKPGM, un marco de optimización de mezclas escalable y basado en principios que selecciona ratios de tareas continuas minimizando una función de energía mediante Campos Aleatorios de Markov (MRF). TASKPGM modela las relaciones entre tareas utilizando diferencias de comportamiento, como la Divergencia de Jensen-Shannon y la Información Mutua Puntual, calculadas a partir de la distribución predictiva de modelos de ajuste fino de una sola tarea. Proporciona una solución de forma cerrada bajo restricciones de grupo y equilibra de forma demostrable la representatividad y la diversidad entre tareas. Demuestra mejoras consistentes en el rendimiento empírico con herramientas de evaluación como MMLU y BIGBench en Llama 2 y Mistral, junto con garantías teóricas (incluida la submodularidad débil para variantes con restricciones presupuestarias). Más allá del rendimiento, TASKPGM proporciona información interpretable sobre la influencia de la tarea y la composición de la mezcla, lo que lo convierte en una herramienta poderosa para un ajuste fino y robusto del LLM.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos TASKPGM, un marco escalable y basado en principios para la optimización de la combinación de datos para el ajuste fino de LLM.
◦
Modelado de relaciones entre tareas utilizando la distribución predictiva de un modelo de ajuste fino de una sola tarea, equilibrando representatividad y diversidad.
◦
Demostrar mejoras consistentes en el rendimiento en varias herramientas de evaluación como MMLU y BIGBench en Llama 2 y Mistral.
◦
Proporciona información interpretable sobre las influencias del trabajo y la composición mixta.
◦
Proporciona garantías teóricas (incluida submodularidad débil).
•
Limitations:
◦
Se necesita más investigación sobre la aplicabilidad práctica y el rendimiento de generalización de TASKPGM.
◦
La evaluación del rendimiento de TASKPGM es necesaria para varias arquitecturas LLM y tipos de tareas.
◦
Se necesita un análisis más profundo del costo computacional y la eficiencia del proceso de minimización de la función energética.
◦
Es necesario revisar la idoneidad de los indicadores de diferencia de comportamiento utilizados en el modelado MRF.
👍
Made with Slashpage