Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

MetaLLMix: un enfoque basado en metaaprendizaje LLM asistido por XAI para la optimización de hiperparámetros

Created by
  • Haebom

Autor

Mohammed Tiouti, Mohamed Bal-Ghaoui

Describir

MetaLLMiX es un marco de optimización de hiperparámetros de cero disparos que combina metaaprendizaje, IA explicable e inferencia LLM eficiente. Para superar los desafíos de prueba y error y el alto costo de las API de los enfoques existentes basados ​​en AutoML y LLM, aprovecha las explicaciones SHAP para recomendar hiperparámetros óptimos y modelos preentrenados con base en resultados experimentales previos sin ensayos adicionales. Los LLM se utilizan como criterios para controlar el formato, la precisión y la integridad de los resultados. En experimentos con ocho conjuntos de datos de imágenes médicas y nueve LLM ligeros de código abierto, logra un rendimiento competitivo o superior al de los métodos HPO existentes, a la vez que reduce significativamente los costos computacionales. Supera a los enfoques basados ​​en API existentes, logrando resultados óptimos en cinco de ocho tareas, reduciendo los tiempos de respuesta entre un 99,6 % y un 99,9 % y alcanzando los tiempos de entrenamiento más rápidos (2,4-15,7x) en seis conjuntos de datos. La precisión se mantiene entre el 1 % y el 5 % con respecto al modelo de referencia de mejor rendimiento.

Takeaways, Limitations

Takeaways:
La optimización de hiperparámetros de disparo cero supera el ensayo y error y los altos costos de los enfoques basados ​​en AutoML y LLM.
Aumentamos la explicabilidad aprovechando las descripciones SHAP.
Logramos un rendimiento superior o competitivo sobre los métodos HPO existentes en un tiempo más corto.
Se ha demostrado que la implementación local funciona de manera más eficiente que los enfoques basados ​​en API.
Limitations:
Se requiere validación de generalización para los ocho conjuntos de datos de imágenes médicas propuestos y nueve LLM livianos de código abierto.
Se necesitan más experimentos con diferentes tipos de conjuntos de datos y modelos.
Es posible que se necesiten más investigaciones para interpretar la descripción SHAP.
👍