Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

StarFT: Ajuste fino robusto de modelos de disparo cero mediante alineación de espuriosidad

Created by
  • Haebom

Autor

Younghyun Kim, Jongheon Jeong, Sangkyung Kwak, Kyungmin Lee, Juho Lee, Jinwoo Shin

Describir

En este artículo, proponemos un marco de regularización de alineación textual espuria (StarFT) para abordar el problema de la fácil degradación del aprendizaje robusto de la representación en modelos de cero disparos, como CLIP, al ajustarse con precisión en tareas posteriores. Si bien estudios previos se han centrado en el movimiento del dominio, este artículo se centra en la tendencia de los modelos ajustados con datos limitados a aprender características sin significado para los humanos, como el fondo o la textura. StarFT mejora la robustez de los modelos de cero disparos mediante una regularización que previene el aprendizaje de características sin significado, generando descripciones textuales alternativas que enfatizan características potencialmente confusas. Los resultados experimentales muestran que StarFT supera a otros modelos de referencia robustos ajustados con precisión, especialmente en el escenario de movimiento del grupo de aves acuáticas.

Takeaways, Limitations

Takeaways:
Una nueva solución al problema de degradación de la robustez que se produce durante el ajuste fino de los modelos de disparo cero.
Mejorar la robustez de los modelos de disparo cero evitando el aprendizaje de características sin sentido.
Mejora significativa del rendimiento en el escenario de movimiento del grupo de aves acuáticas (peor precisión del grupo 14,30 %, mejora de la precisión promedio 3,02 %).
Mejora de la robustez del grupo de disparo cero y del rendimiento de la clasificación de disparo cero.
Limitations:
Se necesita más investigación sobre el rendimiento de generalización del método propuesto.
Se necesitan experimentos adicionales en varias tareas y conjuntos de datos posteriores.
Confianza en la precisión de la generación de descripciones de texto alternativas que resalten características potencialmente confusas.
👍