Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Investigación de la robustez del aprendizaje contrafactual para clasificar modelos: un estudio de reproducibilidad

Created by
  • Haebom

Autor

Zechun Niu, Zhilin Zhang, Jiaxin Mao, Qingyao Ai, Ji-Rong Wen

Describir

Este artículo investiga la robustez de los modelos de clasificación contrafactual (CLTR) existentes mediante extensos experimentos basados ​​en simulación. Para mejorar los estudios de simulación existentes (T97426) que emplean modelos de clasificación de referencia débiles, modelos de simulación de usuario simplificados y un número fijo de registros de clics sintéticos, realizamos experimentos utilizando modelos de clasificación de referencia con rendimiento variable, modelos de simulación de múltiples usuarios y un número variable de sesiones sintéticas. Nuestros resultados experimentales muestran que los modelos IPS-DCM, DLA-PBM y UPE superan a otros modelos CLTR en diversas configuraciones de simulación. Además, observamos que cuando el modelo de clasificación de referencia es sólido y el número de sesiones de entrenamiento es limitado, los modelos CLTR existentes a menudo no superan a los modelos de referencia de clics simples, lo que sugiere la necesidad de nuevos algoritmos CLTR que aborden estas condiciones.

Takeaways, Limitations

Takeaways:
Verificamos la robustez de los modelos IPS-DCM, DLA-PBM y UPE bajo diversas configuraciones de simulación.
Hemos demostrado que los modelos CLTR existentes a menudo no logran superar a los modelos simples basados ​​en clics en condiciones de modelos de clasificación de referencia sólidos y un número limitado de sesiones de entrenamiento.
Esto plantea la necesidad de desarrollar un nuevo algoritmo CLTR adecuado para modelos de clasificación de referencia robustos y condiciones de datos de entrenamiento limitadas.
Limitations:
Dado que éste todavía es un estudio basado en simulación, el rendimiento en entornos del mundo real puede variar.
Los resultados pueden verse afectados por el tipo y la cantidad de modelos de simulación de usuario y modelos de clasificación de referencia utilizados.
Falta de validación utilizando datos de registros de clics a gran escala y del mundo real.
👍