Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Este artículo presenta SoAy, una metodología basada en API de modelos de lenguaje a gran escala (LLM) para la recuperación de información académica. Considerando que los métodos existentes presentan dificultades con las complejas combinaciones de API que suelen encontrarse en las consultas académicas, SoAy utiliza "soluciones", secuencias de llamadas a API preconfiguradas, para reducir la dificultad de los LLM para comprender las complejas relaciones entre las API. Además, aprovecha el código para mejorar la eficiencia de la inferencia. Evaluamos el rendimiento de SoAy utilizando el banco de pruebas SoAyBench, basado en la API de AMiner, y demostramos una mejora del rendimiento del 34,58-75,99 % con respecto a los métodos LLM de última generación basados en API. Todos los conjuntos de datos, el código, los modelos optimizados y los servicios en línea implementados están disponibles públicamente.
Takeaways, Limitations
•
Takeaways:
◦
Presentamos una metodología novedosa que puede mejorar significativamente la eficiencia del LLM en la exploración de información académica, lo que requiere combinaciones complejas de API.
◦
Se ha demostrado que un enfoque basado en "soluciones" es eficaz para ayudar a los LLM a comprender relaciones API complejas.
◦
Demostramos la utilidad de un método que aprovecha el código para mejorar la eficiencia de la inferencia.
◦
Se mejoraron la reproducibilidad y la escalabilidad mediante código abierto y conjuntos de datos.
•
Limitations:
◦
Dado que el punto de referencia SoAyBench se basa en la API AMiner, su rendimiento de generalización en otros entornos de API requiere una verificación adicional.
◦
El requisito de preconfigurar las "soluciones" puede limitar su aplicabilidad a consultas académicas generales. Se requiere investigación para automatizar el proceso de generación de soluciones.
◦
Es necesario evaluar de forma más exhaustiva el desempeño de SoAy en varios tipos de consultas académicas.
