Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Techniques modulaires pour la génération de données synthétiques à contexte long dans l'apprentissage et l'évaluation de modèles de langage

Created by
  • Haebom

Auteur

Seganrasan Subramanian, Abhigya Verma

Contour

Cet article propose un cadre synthétique de génération de données contextuelles de texte long afin d'améliorer la capacité des modèles linguistiques à grande échelle (LLM) à traiter et à inférer des entrées de texte long. Pour pallier le manque d'ensembles de données contextuelles de texte long de haute qualité, diversifiés et vérifiables, nous présentons un cadre modulaire et extensible permettant de générer des données via des interactions LLM basées sur des invites. Ce cadre prend en charge divers objectifs d'apprentissage et d'alignement (SFT, DPO et GRPO) et intègre quatre paradigmes de génération de données : conversations à plusieurs tours, paires d'entrées-sorties basées sur des documents, tâches de commande-réponse vérifiables et exemples d'inférence de texte long. L'invite basée sur des modèles, une architecture indépendante du modèle et une sortie riche en métadonnées facilitent la génération d'ensembles de données évolutifs, contrôlables et spécifiques à un objectif.

Takeaways, Limitations

•
Takeaways:
◦
Un nouveau cadre qui peut contribuer à résoudre le problème du manque d’ensembles de données contextuelles de texte long de haute qualité est présenté.
◦
Suggérer la possibilité d'améliorer les performances du LLM en soutenant divers objectifs d'apprentissage et d'alignement tels que SFT, DPO et GRPO.
◦
L'architecture modulaire et évolutive permet la génération de différents types de données contextuelles longues.
◦
Améliorez l'efficacité et le contrôle de votre processus de création de données grâce à des invites et des métadonnées basées sur des modèles.
•
Limitations:
◦
Manque d’évaluation quantitative de la qualité et de la diversité des données générées.
◦
Peut dépendre fortement d'une ingénierie rapide
◦
Manque de vérification expérimentale de l’efficacité du cadre proposé pour améliorer les performances réelles du LLM.
◦
Des recherches supplémentaires sont nécessaires pour déterminer si les résultats sont spécifiques à un LLM spécifique et s’ils peuvent être généralisés à différents LLM.
👍
Made with Slashpage