Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Extracción de conocimiento probabilístico de grandes modelos lingüísticos para la parametrización de redes bayesianas

Created by
  • Haebom

Autor

Aliakbar Nafar, Kristen Brent Venable, Zijun Cui, Parisa Kordjamshidi

Describir

Este artículo evalúa la viabilidad de construir redes bayesianas (BN) utilizando modelos de lenguaje a gran escala (LLM). Si bien los LLM han demostrado potencial como bases de conocimiento factual, su capacidad para generar conocimiento probabilístico sobre eventos del mundo real permanece poco explorada. Este estudio explora cómo aprovechar el conocimiento probabilístico inherente a los LLM para derivar estimaciones de probabilidad de afirmaciones sobre eventos y sus relaciones dentro de las BN. Los LLM permiten la parametrización de las BN, lo que posibilita el modelado probabilístico dentro de dominios específicos. Experimentos en 80 BN disponibles públicamente, que abarcan desde la atención médica hasta las finanzas, demuestran que consultar los LLM para obtener las probabilidades condicionales de los eventos produce resultados significativos en comparación con las líneas base, incluyendo distribuciones aleatorias y uniformes y enfoques basados en la probabilidad de la siguiente generación de tokens. Específicamente, exploramos cómo las distribuciones extraídas de los LLM pueden usarse como priores de expertos para mejorar las distribuciones derivadas de datos, particularmente cuando estos son escasos. En general, este estudio presenta una estrategia prometedora para la construcción automática de redes bayesianas mediante la combinación del conocimiento probabilístico extraído de LLM con datos del mundo real. Además, establece la primera línea de base integral para evaluar el rendimiento de los LLM en la extracción de conocimiento probabilístico.

Takeaways, Limitations

Takeaways:
Presentamos un método novedoso para estimar eficazmente los parámetros de redes bayesianas utilizando LLM.
Demostramos que LLM puede mejorar la precisión de las redes bayesianas al actuar como información previa experta en situaciones donde los datos son escasos.
Presentamos una línea base integral para evaluar el desempeño de la extracción de conocimiento probabilístico de LLM.
Proporciona un método eficiente para construir automáticamente redes bayesianas, aumentando su aplicabilidad en varios campos.
Limitations:
Se necesitan más investigaciones para determinar la precisión de las estimaciones de probabilidad generadas por LLM.
El rendimiento de LLM puede estar sesgado hacia dominios o conjuntos de datos específicos.
Se necesita más análisis sobre el costo computacional y la eficiencia de construir redes bayesianas utilizando LLM.
Es necesario examinar la generalización de los 80 conjuntos de datos BN utilizados.
👍