[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Amélioration de la génération augmentée de récupération pour les données d'entreprise structurées et internes

Created by
  • Haebom

Auteur

Chandana Cheerla

Contour

Cet article propose un cadre RAG (Retrieval-Augmented Generation) avancé qui exploite des données spécifiques à l'entreprise, telles que les dossiers RH, les rapports structurés et les documents tabulaires, essentiels à la prise de décision. Pour pallier les limites des cadres RAG existants, telles que le pré-apprentissage statique, les fenêtres contextuelles courtes et le traitement de formats de données hétérogènes, nous appliquons une stratégie de recherche hybride combinant des intégrations denses (all-mpnet-base-v2) et BM25, un filtrage basé sur les métadonnées avec SpaCy NER et un reclassement inter-encodeurs. De plus, nous améliorons les performances en fragmentant les unités sémantiques, en conservant la structure des données tabulaires, en indexant quantifiée, en intégrant les retours utilisateurs et en utilisant des fonctions de mémorisation des conversations. Suite à des expériences sur des ensembles de données d'entreprise, Precision@5 a progressé de 15 %, Recall@5 de 13 % et le classement inverse moyen de 16 %. Des améliorations qualitatives ont également été observées en termes de précision, d'exhaustivité et de pertinence. À l’avenir, nous prévoyons d’étendre les données multimodales et d’intégrer la recherche basée sur les agents, et le code source sera rendu public.

Takeaways, Limitations

Takeaways:
Présentation d'un cadre RAG avancé pour une utilisation efficace des données internes de l'entreprise
Surmonter les limites des RAG existants grâce à des stratégies de recherche hybrides, au filtrage des métadonnées et au découpage des unités sémantiques
Fournit des réponses avec une précision, une exhaustivité et une pertinence améliorées
Améliorer l'efficacité de la recherche grâce à l'indexation quantifiée
Adaptabilité améliorée grâce aux commentaires des utilisateurs et aux fonctionnalités de mémoire de conversation
Démontrer quantitativement l'amélioration des performances grâce à des résultats expérimentaux
Limitations:
Actuellement, la recherche se limite aux données internes des entreprises. Une généralisation est nécessaire pour différents types et tailles de données.
Les données multimodales et la récupération basée sur des agents restent des défis de recherche futurs.
Manque d'informations spécifiques sur les ensembles de données expérimentales et les mesures d'évaluation
Optimisé pour des ensembles de données d'entreprise spécifiques et peut avoir une généralisabilité limitée à d'autres environnements
👍