Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

STRUCTSENSE: Un marco de trabajo agente independiente de tareas para la extracción de información estructurada con evaluación y benchmarking con intervención humana

Created by
  • Haebom

Autor

Tek Raj Chhetri, Yibei Chen, Puja Trivedi, Dorota Jarecka, Saif Haobsh, Patrick Ray, Lydia Ng, Satrajit S. Ghosh

Describir

Este artículo busca acelerar la extracción de información estructurada de datos no estructurados (p. ej., documentos de texto libre, literatura científica) para mejorar el descubrimiento científico y la integración del conocimiento. Si bien los modelos de lenguaje a gran escala (LLM) han demostrado un excelente rendimiento en diversas tareas de procesamiento del lenguaje natural, son menos eficientes en ciertos dominios que requieren conocimiento especializado y comprensión matizada, y adolecen de falta de transferibilidad entre tareas y dominios. Para abordar estos desafíos, presentamos StructSense, un marco modular, independiente de la tarea y de código abierto que aprovecha el conocimiento simbólico específico del dominio integrado en ontologías para explorar de forma más efectiva el contenido complejo del dominio. StructSense integra un ciclo de retroalimentación para la mejora iterativa mediante jueces autoevaluados y un mecanismo de intervención humana para el control de calidad y la validación. Mediante su aplicación a una tarea de extracción de información en neurociencia, demostramos que StructSense supera dos limitaciones: la sensibilidad del dominio y la falta de generalización entre tareas.

Takeaways, Limitations

•
Takeaways:
◦
Un nuevo enfoque para abordar cuestiones de sensibilidad de dominio y transferibilidad entre tareas en la extracción de información estructurada basada en LLM.
◦
Mejorar el rendimiento del LLM y ampliar su aplicabilidad a campos especializados mediante el uso de conocimiento basado en ontología.
◦
Mejorar el control de calidad y la confiabilidad mediante mecanismos de autoevaluación e intervención humana.
◦
Mayor eficiencia en la investigación y el desarrollo al proporcionar un marco modular, independiente de las tareas y de código abierto.
•
Limitations:
◦
Se necesita una validación adicional para determinar la generalización del marco propuesto a otros dominios y tareas.
◦
La dificultad y el coste de desarrollar y gestionar la ontología.
◦
La automatización completa puede resultar difícil ya que hay partes que requieren intervención humana.
◦
Posible degradación del rendimiento de generalización debido al uso de ontologías sesgadas hacia dominios específicos.
👍
Made with Slashpage