HyperCLOVA X THINK est le premier modèle linguistique à grande échelle piloté par inférence, pré-entraîné sur environ 6 000 milliards de jetons coréens et anglais de haute qualité et des données coréennes synthétiques cibles. Il est implémenté avec un transformateur Peri-LN équilibré calcul-mémoire mis à l'échelle avec μP, pré-entraîné via un programme en trois étapes qui étend la fenêtre contextuelle à 128 000 jetons, et post-entraîné via un réglage fin supervisé utilisant l'apprentissage par renforcement à partir de récompenses vérifiables. Il prend en charge les modes de preuves détaillées et de réponses concises, et se comporte de manière compétitive par rapport à des modèles de taille similaire sur des benchmarks centrés sur le coréen tels que KMMLU, CSAT, KoBALT-700, HAERAE-1.0 et KoBigBench, tout en maintenant une forte cohérence bilingue et une qualité de traduction élevée. De plus, la variante à vision augmentée atteint des performances égales ou supérieures à celles de GPT-4.1 sur le benchmark KCSAT STEM, le tout avec un calcul d'entraînement nettement inférieur à celui des modèles de taille similaire existants. Nous présentons également des techniques d'élagage et de distillation qui seront appliquées à HyperCLOVA X THINK pour un modèle de base open source et adapté aux entreprises. Grâce à ces fonctionnalités, HyperCLOVA X THINK deviendra une base solide pour l'innovation coréenne en IA et une ressource précieuse pour la communauté scientifique mondiale.
