Cet article propose HiTeC, un nouveau cadre d'apprentissage auto-supervisé sur les hypergraphes à attributs textuels (TAHG). Nous soulignons les limites des méthodes d'apprentissage contrastif existantes, qui ne parviennent pas à exploiter efficacement l'information textuelle des TAHG, souffrent du bruit dû à l'augmentation aléatoire des données et peinent à capturer les dépendances à longue portée. HiTeC comprend une étape de pré-apprentissage de l'encodeur de texte utilisant une fonction objective contrastive sensible à la structure, suivie d'une seconde étape utilisant des stratégies d'augmentation sensibles à la sémantique, telles que l'augmentation de texte améliorée par les invites et la suppression des hyperarêtes sensibles à la sémantique. De plus, nous proposons une fonction de perte contrastive multi-échelle qui capture mieux les dépendances à longue portée grâce à la contrastivité au niveau des sous-graphes basée sur la marche en S. Cette conception en deux étapes dissocie le pré-apprentissage de l'encodeur de texte de l'apprentissage contrastif de l'hypergraphe, améliorant ainsi l'évolutivité et préservant la qualité de la représentation. Nous démontrons l'efficacité de HiTeC par des expériences approfondies.
