[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

SciSage: Un marco multiagente para la generación de encuestas científicas de alta calidad

Created by
  • Haebom

Autor

Xiaofeng Shi, Qian Kou, Yuduo Li, Ning Tang, Jinxin Xie, Longbin Yu, Songjing Wang, Hua Zhou

Describir

SciSage es un framework multiagente desarrollado en respuesta a la creciente necesidad de herramientas automatizadas para la generación de encuestas, debido al rápido crecimiento de la literatura científica. Para superar las limitaciones de los métodos actuales basados en LLM, como la falta de análisis profundo, la falta de consistencia estructural y la falta de fiabilidad en las citas, SciSage adopta un paradigma de "reflexión al escribir", en el que agentes Reflector jerárquicos evalúan críticamente los manuscritos a nivel de resumen, sección y documento, y colaboran con agentes expertos para la interpretación de consultas, la recuperación de contenido y la revisión. Además, publicamos el benchmark SurveyScope, que consta de 46 artículos influyentes (2020-2025) en 11 campos de la informática que se han sometido a un control de calidad basado en citas y actualidad. Los resultados de la evaluación muestran que SciSage supera a los modelos con mejor rendimiento existentes (LLM x MapReduce-V2, AutoSurvey), logrando +1,73 puntos en consistencia del documento y +32 % en la puntuación F1 de citas. Aunque la evaluación humana arrojó resultados dispares (3 aciertos y 7 errores en comparación con las encuestas realizadas por personas), mostró fortalezas en cuanto a la amplitud de los temas y la eficiencia de recuperación. En general, SciSage ofrece una base prometedora para una herramienta de redacción de apoyo a la investigación.

Takeaways, Limitations

Takeaways:
Superar las limitaciones de la generación de encuestas basadas en LLM a través de un paradigma de "reflexionar al escribir" basado en múltiples agentes
Mejorar la coherencia de los documentos y la precisión de las citas
Proporciona un conjunto de datos de referencia rigurosamente seleccionados llamado SurveyScope
Presentando nuevas posibilidades para el desarrollo de herramientas de escritura de apoyo a la investigación
Demuestra fortalezas en amplitud de temas y eficiencia de búsqueda.
Limitations:
La mayoría de las veces, las encuestas revisadas por humanos tuvieron un rendimiento inferior al de las encuestas escritas por humanos (3 victorias, 7 derrotas).
Los resultados de la evaluación se centraron en comparaciones relativas más que en cifras absolutas de mejora del rendimiento.
👍