Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

RAGtifier : Évaluation des approches de génération RAG des systèmes RAG de pointe pour le concours SIGIR LiveRAG

Created by
  • Haebom

Auteur

Tim Cofala, Oleh Astappiev, William Xion, Hailay Teklehaymanot

Contour

Cet article présente les résultats d'un modèle de génération augmentée par récupération (RAG) soumis au défi SIGIR LiveRAG 2025. À l'aide de paires d'assurance qualité DataMorgana, nous avons exploré des solutions RAG maximisant la précision grâce à LLM avec jusqu'à 10B paramètres et Falcon-3-10B. Après avoir expérimenté différentes combinaisons de récupérateurs et de solutions RAG exploitant les indices OpenSearch et Pinecone, nous avons retenu InstructRAG, qui utilise le récupérateur Pinecone et le reranker BGE, comme solution finale. Cette solution a obtenu un score de précision de 1,13 et un score de fidélité de 0,55 lors d'une évaluation non humaine, ce qui la place au troisième rang au classement général.

Takeaways, Limitations

Takeaways: Nous démontrons qu'un système RAG basé sur InstructRAG, utilisant le récupérateur Pinecone et le reranker BGE, est performant dans le défi LiveRAG. Nous validons l'efficacité des stratégies d'optimisation en explorant différentes combinaisons de récupérateurs et de solutions RAG.
Limitations : Étant donné que cette évaluation des performances a été réalisée dans des conditions difficiles (par exemple, contraintes LLM à 10 paramètres B, restrictions d'utilisation Falcon-3-10 B), une validation supplémentaire des performances de généralisation est nécessaire. Le recours à une évaluation non humaine peut constituer une limitation. Des recherches supplémentaires sont nécessaires pour obtenir une précision et une fidélité accrues.
👍