Cet article propose la prédiction conforme à entropie de jeton (TECP), un nouveau cadre exploitant l'entropie de jeton pour résoudre le problème de quantification de l'incertitude (UQ) pour la génération de langage ouvert sous contraintes de boîte noire. TECP utilise l'entropie au niveau du jeton comme mesure d'incertitude, sans logit ni référence, et l'intègre dans un pipeline de prédiction conforme (CP) distinct pour générer un ensemble de prédictions avec des garanties de couverture formelles. Contrairement aux méthodes existantes qui s'appuient sur des heuristiques de cohérence sémantique ou des caractéristiques de boîte blanche, TECP estime directement l'incertitude épistémique à partir de la structure d'entropie de jeton des produits échantillonnés et calibre les seuils d'incertitude via des quantiles de CP, garantissant ainsi un contrôle d'erreur vérifiable. Des évaluations expérimentales sur six modèles de langage à grande échelle et deux benchmarks (CoQA et TriviaQA) démontrent que TECP atteint systématiquement une couverture fiable et des ensembles de prédiction compacts, surpassant les précédentes méthodes UQ basées sur l'auto-cohérence. Cette étude fournit une solution efficace et fondée sur des principes pour une génération fiable dans le cadre de la LLM de boîte noire.
