Cet article aborde le problème suivant : malgré l'importance du modèle de récompense (MR) dans l'apprentissage par renforcement à partir du feedback humain (RLHF), les MR ouverts de pointe existants sont moins performants dans la plupart des benchmarks d'évaluation. Nous supposons que cela est dû aux limites des ensembles de données de préférences existants, telles qu'une portée limitée, des données étiquetées artificiellement et un manque de contrôle qualité rigoureux. Pour y remédier, nous présentons SynPref-40M, un ensemble de données de préférences à grande échelle composé de 40 millions de paires de préférences. Nous procédons à la curation des données en concevant un pipeline en deux étapes qui allie la qualité des annotations humaines à l'évolutivité de l'IA. Ainsi, les humains fournissent des annotations vérifiées, et les modèles linguistiques à grande échelle effectuent la curation automatique sous la direction humaine. À partir de 26 millions de paires de préférences issues de SynPref-40M, nous développons Skywork-Reward-V2, qui comprend huit modèles de récompense avec des paramètres allant de 0,6 B à 8 B. Skywork-Reward-V2 atteint des performances de pointe sur un large éventail de caractéristiques, notamment l'alignement des préférences humaines, la précision des cibles, la sécurité, la résistance aux biais de style et la mise à l'échelle N optimale. Les résultats expérimentaux montrent que l'efficacité de cette étude est due non seulement à la taille des données, mais aussi à une curation de haute qualité. Skywork-Reward-V2 représente une avancée significative dans le domaine des modèles de récompense ouverts et démontre que la synergie entre l'humain et l'IA en matière de curation contribue à améliorer la qualité des données.
