Este estudio investiga un marco de autorracionalización que consiste en un juego cooperativo entre un generador y un predictor. El generador extrae las partes más informativas de la entrada bruta, y el predictor utiliza el subconjunto seleccionado como entrada. El generador y el predictor se entrenan cooperativamente para maximizar la precisión de la predicción. Este artículo revela, en primer lugar, un problema potencial: el juego cooperativo puede introducir involuntariamente un sesgo de muestreo durante la extracción de la racionalización. Específicamente, el generador puede generar involuntariamente correlaciones falsas entre los candidatos de racionalización seleccionados y las etiquetas, incluso si no están semánticamente relacionados en el conjunto de datos original. A continuación, explicamos el origen de este sesgo mediante un análisis teórico detallado y evidencia empírica. Nuestros resultados sugieren maneras de examinar estas correlaciones mediante ataques y, con base en estos hallazgos, proporcionamos orientación adicional para evitar que el predictor aprenda correlaciones. Los experimentos en seis conjuntos de datos de clasificación de texto y dos conjuntos de datos de clasificación de gráficos utilizando tres arquitecturas de red (GRU, BERT y GCN) demuestran que el método propuesto supera significativamente a los métodos de racionalización recientes y logra resultados comparables o mejores que el LLM representativo (llama3.1-8b-instruct).
