[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

THE-Tree: ¿Puede el rastreo de la evolución histórica mejorar la verificación y el razonamiento científicos?

Created by
  • Haebom

Autor

Xin Wang, Jiyao Liu, Yulong Xiao, Junzhi Ning, Lihao Liu, Junjun He, Botian Shi, Kaicheng Yu

Describir

Este artículo plantea la cuestión de que los modelos lingüísticos a gran escala (LLM) aceleran la generación de ideas científicas, pero la evaluación rigurosa de la novedad y la precisión fáctica de las propuestas generadas constituye un obstáculo. Los métodos de verificación existentes son inadecuados: los propios LLM son alucinógenos o carecen de experiencia, las redes de citas existentes carecen de causalidad explícita y las investigaciones narrativas son asistemáticas. Para abordar estas cuestiones, en este artículo proponemos THE-Tree (Árbol de Evolución de la Historia de la Tecnología), un marco computacional que construye árboles evolutivos a partir de la literatura científica en un campo específico. THE-Tree utiliza un algoritmo de búsqueda para explorar las trayectorias evolutivas y, mediante un proceso denominado "Pensar-Verbalizar-Citar-Verificar", los LLM proponen desarrollos potenciales, citan la literatura de apoyo y examinan la literatura citada para verificar la coherencia lógica y la evidencia en cada paso. Construimos y verificamos 88 THE-Tree en diversos campos y publicamos un conjunto de datos de referencia que contiene más de 71 000 verificaciones de hechos. Los resultados experimentales muestran que THE-Tree supera a los métodos existentes en la finalización de gráficos, la predicción de desarrollos científicos futuros y la evaluación de artículos científicos importantes.

Takeaways, Limitations

Takeaways:
Un nuevo marco de validación para mejorar la confiabilidad de la generación de ideas científicas basadas en LLM
Construcción de datos causales estructurados y verificables a partir de la literatura científica
Mejora de la finalización de gráficos, predicción de futuros desarrollos científicos y evaluación de artículos importantes.
Facilitar la investigación de seguimiento mediante la publicación de un conjunto de datos de referencia que contiene más de 71.000 puntos de datos de verificación de hechos
Limitations:
Se necesitan más investigaciones para abordar por completo los problemas de las alucinaciones y la falta de experiencia en los LLM.
Necesidad de verificar la generalización y escalabilidad a varios campos
Necesidad de mejorar el coste computacional y la eficiencia del proceso "Pensar-Verbalizar-Citar-Verificar"
Se necesitan más evaluaciones y validaciones de la precisión y confiabilidad de THE-Tree.
👍