Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Seed-X : Créer un LLM solide en traduction multilingue avec les paramètres 7B

Created by
  • Haebom

Auteur

Shanbo Cheng, Yu Bao, Qian Cao, Luyang Huang, Liyan Kang, Zhicheng Liu, Yu Lu, Wenhao Zhu, Jingwen Chen, Zhichao Huang, Tao Li, Yifu Li, Huiying Lin, Sitong Liu, Ningxin Peng, Shuaijie She, Lu Xu, Nuo Xu, Sen Yang, Runsheng Yu, Yiming Yu, Liehao Zou, Hang Li, Lu Lu, Yuxuan Wang, Yonghui Wu

Contour

Seed-X est une famille de modèles linguistiques à grande échelle (LLM) open source avec 7 milliards de paramètres, incluant des modèles dirigés et inférentiels. Pré-entraîné à partir de contenus monolingues et bilingues diversifiés et de haute qualité provenant de 28 langues, il est affiné par inférence de chaîne de pensée (CoT), puis généralisé à plusieurs paires de langues par apprentissage par renforcement (RL). Ses performances, sur 28 langues, sont comparables à celles des principaux modèles en boucle fermée tels que Gemini-2.5 et GPT-4o, surpassant largement les modèles open source plus importants, tant en termes d'évaluation automatisée qu'humaine. Nous partageons les meilleures pratiques issues de notre processus d'optimisation et publions nos paramètres en open source pour faire progresser la recherche et les applications en traduction.

Takeaways, Limitations

•
Takeaways:
◦
Il atteint des performances similaires à celles des modèles en boucle fermée de pointe avec une taille relativement petite de 7 milliards de paramètres, démontrant le potentiel de développement de modèles de traduction multilingues légers et performants.
◦
Il est publié en open source et contribue au développement de la recherche et des applications de traduction multilingue.
◦
Améliorer les performances de généralisation sur diverses paires de langues en utilisant l'inférence de chaîne de pensée (CoT) et l'apprentissage par renforcement (RL).
◦
Nous présentons une méthode de pré-formation efficace utilisant un ensemble de données multilingues de haute qualité prenant en charge plusieurs langues.
•
Limitations:
◦
L’article manque de références spécifiques à Limitations ou aux orientations de recherche futures.
◦
7 milliards de paramètres représentent encore une taille de modèle significative, il peut donc être nécessaire de mener des recherches pour développer des modèles de plus petite taille.
◦
Une analyse détaillée des performances, telle que les écarts de performances pour des paires de langues ou des types de phrases spécifiques, peut faire défaut.
👍
Made with Slashpage