Cet article aborde les défis liés à l'application du paradigme de l'« inférence profonde », qui a permis des avancées significatives dans des domaines vérifiables comme les mathématiques, au domaine génératif ouvert et créatif. Les méthodes existantes d'apprentissage par renforcement et de distillation des connaissances peinent dans ce domaine en raison de l'absence de signaux de récompense clairs, de la difficulté à construire des modèles de récompense de haute qualité et du coût élevé et des limitations de performance des modèles pédagogiques. Pour surmonter ces défis, cet article présente un nouveau paradigme : l'inférence par rétro-ingénierie (REER). Au lieu de construire le processus d'inférence « en avant » par essais et erreurs ou imitation, la REER fonctionne « en arrière », en partant d'une solution éprouvée et en découvrant par calcul, étape par étape, les chemins d'inférence profonde potentiels qui pourraient générer cette solution. Grâce à cette approche évolutive et sans gradient, nous créons et publions DeepWriting-20K, un jeu de données à grande échelle contenant des chemins d'inférence profonde pour 20 000 tâches open source. Le modèle DeepWriter-8B formé sur cet ensemble de données surpasse non seulement les principaux modèles de base open source existants, mais atteint également des performances comparables, voire parfois supérieures, à celles des modèles propriétaires de pointe tels que GPT-4o et Claude 3.5.
