Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Cet article présente SoAy, une méthodologie de recherche d'informations scientifiques basée sur un modèle de langage à grande échelle (LLM). Soulignant que les méthodes existantes peinent à gérer les combinaisons d'API complexes fréquemment rencontrées dans les requêtes académiques, SoAy utilise des « solutions », des séquences d'appels d'API préconfigurées, pour réduire la difficulté des LLM à comprendre les relations complexes entre les API. Elle exploite également le code pour améliorer l'efficacité de l'inférence. Nous évaluons les performances de SoAy à l'aide du benchmark d'évaluation SoAyBench, basé sur l'API AMiner, et démontrons une amélioration de 34,58 à 75,99 % par rapport aux méthodes LLM de pointe existantes basées sur des API. Tous les jeux de données, le code, les modèles optimisés et les services en ligne déployés sont accessibles au public.
Takeaways, Limitations_
•
Takeaways:
◦
Nous présentons une nouvelle méthodologie qui peut améliorer considérablement l’efficacité du LLM dans l’exploration d’informations académiques, qui nécessite des combinaisons d’API complexes.
◦
Une approche basée sur les « solutions » s’est avérée efficace pour aider les LLM à comprendre les relations API complexes.
◦
Nous démontrons l’utilité d’une méthode qui exploite le code pour améliorer l’efficacité de l’inférence.
◦
La reproductibilité et l’évolutivité ont été améliorées grâce à un code ouvert et à des ensembles de données.
•
Limitations:
◦
ÉTant donné que le benchmark SoAyBench est basé sur l'API AMiner, ses performances de généralisation dans d'autres environnements API nécessitent une vérification supplémentaire.
◦
L'exigence de préconfiguration des « solutions » peut limiter leur applicabilité aux requêtes académiques générales. Des recherches sont nécessaires pour automatiser le processus de génération de solutions.
◦
Il est nécessaire d’évaluer de manière plus complète les performances de SoAy sur différents types de requêtes académiques.
