Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Pourquoi les LLM open source peinent-ils à analyser les données ? Une étude empirique systématique
Created by
Haebom
Auteur
Yuqi Zhu, Yi Zhong, Jintian Zhang, Ziheng Zhang, Shuofei Qiao, Yujie Luo, Lun Du, Da Zheng, Huajun Chen, Ningyu Zhang
Contour
Cet article étudie les stratégies visant à améliorer la capacité d'analyse des données des modèles linguistiques à grande échelle (MLH) open source. À l'aide d'ensembles de données de départ composés de divers scénarios réalistes, nous évaluons le modèle sous trois aspects : la compréhension des données, la génération de code et la planification stratégique. Les résultats de l'évaluation révèlent trois conclusions principales : la qualité de la planification stratégique est un déterminant clé de la performance du modèle ; la conception des interactions et la complexité des tâches ont un impact significatif sur la capacité d'inférence ; et la qualité des données a un impact plus important que la diversité sur l'obtention de performances optimales. Sur la base de ces connaissances, nous développons une méthodologie de synthèse de données pour améliorer significativement la capacité d'inférence analytique des LHH open source.
Takeaways, Limitations_
•
Takeaways:
◦
Présentation d'une méthodologie efficace de synthèse de données pour améliorer les capacités d'analyse de données des LLM open source
◦
Souligne l'importance de la planification stratégique pour améliorer les performances du modèle
◦
Suggérant la nécessité de prendre en compte la conception des interactions et la complexité des tâches
◦
Souligner l’importance de la qualité des données
•
Limitations:
◦
Des recherches supplémentaires sont nécessaires sur la généralisabilité et la polyvalence de l’ensemble de données de semences utilisé.
◦
L’applicabilité de la méthodologie de synthèse de données proposée à d’autres LLM open source et à diverses tâches d’analyse de données doit être vérifiée.
◦
Il faut trouver des moyens de garantir l’objectivité et la fiabilité de l’évaluation de la qualité du plan stratégique.
