Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Los paisajes energéticos permiten una abstención fiable en modelos de lenguaje grande aumentados por recuperación para la atención médica

Created by
  • Haebom

Autor

Ravi Shankar, Sheng Wong, Lin Li, Magdalena Bachmann, Alex Silverthorne, Beth Albert, Gabriel Davis Jones

Describir

Este artículo destaca la importancia crucial de la abstinencia confiable para los sistemas de generación de búsqueda aumentada (RAG) en dominios críticos para la seguridad, como la salud femenina, donde las respuestas incorrectas pueden causar daño. Presentamos un modelo basado en energía (EBM) que aprende un paisaje de energía uniforme para un corpus semántico denso de 2,6 millones de preguntas basadas en directrices. Este modelo permite al sistema decidir si generar o abstenerse. El EBM se evalúa frente a la línea base softmax calibrada y la heurística de densidad de k-vecinos más cercanos (kNN), siendo el caso difícil las consultas cerca de distribuciones semánticamente desafiantes. El EBM logra un rendimiento de abstinencia superior en casos semánticamente desafiantes, alcanzando un área bajo la curva (AUROC) de 0,961 en comparación con 0,950 para la línea base softmax y reduciendo el FPR@95 de 0,331 a 0,235. Si bien el rendimiento es similar en casos negativos fáciles, la ventaja del EBM es más pronunciada en distribuciones desafiantes y críticas para la seguridad. Estudios exhaustivos de ablación con muestreo negativo controlado y exposición justa a los datos demuestran que la robustez se basa principalmente en la puntuación de energía, y que la inclusión o exclusión de tipos negativos específicos (difícil, fácil o mixto) agudiza el límite de decisión, pero no es esencial para la generalización a casos difíciles. Estos resultados demuestran que la autopuntuación basada en la energía proporciona señales de confianza más fiables que la confianza softmax basada en la probabilidad, lo que proporciona una base escalable e interpretable para sistemas RAG seguros.

Takeaways, Limitations

Takeaways:
Demostramos que un modelo basado en energía (EBM) puede mejorar el autocontrol confiable en áreas críticas de seguridad de los sistemas RAG.
EBM logra un AUROC más alto y un FPR más bajo para ejemplos negativos difíciles que los métodos basados ​​en softmax.
La puntuación energética proporciona una base escalable e interpretable para sistemas RAG seguros.
Limitations:
Este estudio se centró en un área específica y crítica para la seguridad (la salud de la mujer), y su generalización a otras áreas requiere más investigación.
El rendimiento de EBM puede depender de la calidad y el tamaño del conjunto de datos utilizado.
En estudios de ablación, el impacto de incluir o excluir tipos negativos específicos en el rendimiento fue limitado, pero puede requerir un análisis más profundo.
👍