Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Convergencia y generalización de la antiregularización para modelos paramétricos

Created by
  • Haebom

Autor

Dongseok Kim, Wonjun Jeong, Gisung Oh

Describir

Este artículo propone la "antiregularización", una técnica novedosa que potencia intencionalmente la expresividad de los modelos en entornos con datos pequeños. La antiregularización introduce un término de recompensa invertido en la función de pérdida, lo que mejora la expresividad de los modelos con muestras pequeñas y reduce la intensidad de las intervenciones a medida que aumenta el tamaño de la muestra, siguiendo una escala de decaimiento de ley de potencia. Formulamos condiciones de seguridad espectral y restricciones de la región de confianza, y diseñamos un mecanismo de seguridad ligero que combina un operador de proyección y recorte de gradiente para garantizar la estabilidad de las intervenciones. El análisis teórico se extiende al suavizado lineal y a los regímenes de kernel tangente neuronal, proporcionando una guía práctica para la selección de un exponente de decaimiento mediante un equilibrio empírico entre riesgo y varianza. Los resultados experimentales demuestran que la antiregularización mitiga el subajuste tanto en regresión como en clasificación, a la vez que mantiene el rendimiento de generalización y mejora la calibración. Análisis posteriores confirman que la escala de decaimiento y el mecanismo de seguridad son esenciales para evitar el sobreajuste y la inestabilidad. Además, proponemos una escala objetivo de grados de libertad que mantiene constante la complejidad por muestra. La desnormalización es un procedimiento simple y reproducible que se integra perfectamente en los procesos estándar de minimización de riesgos empíricos, lo que permite un aprendizaje sólido en condiciones de datos y recursos limitados, interviniendo solo cuando es necesario y descartando lo demás.

Takeaways, Limitations

Takeaways:
Presentamos un método novedoso para aliviar eficazmente el problema del subajuste del modelo en conjuntos de datos pequeños.
Confirmamos la eficacia de un mejor rendimiento de generalización y calibración tanto en problemas de regresión como de clasificación.
Procedimientos simples y reproducibles que pueden integrarse fácilmente en los procesos de aprendizaje existentes.
Se propone un programa alternativo que mantiene una complejidad constante por muestra.
Limitations:
El análisis teórico del método propuesto se limita al suavizado lineal y a los regímenes de núcleo tangente neuronal. Se requiere el análisis de una gama más amplia de modelos.
No existen directrices claras para establecer valores óptimos para el índice de amortiguamiento ni para el programa objetivo de grados de libertad. Podría ser necesaria la exploración experimental.
Los resultados experimentales podrían limitarse a un conjunto de datos específico. Se requieren experimentos adicionales con conjuntos de datos diversos.
👍