[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Adaptateur sémantique pour l'intégration de texte universel : diagnostiquer et atténuer la cécité à la négation pour améliorer l'universalité

Created by
  • Haebom

Auteur

Hongliu Cao

Contour

Cet article analyse en profondeur la capacité de reconnaissance de la négation des modèles d'intégration textuelle universels de pointe. Des études antérieures ont montré que les modèles d'intégration textuelle contextuels tels que BERT, ELMO, RoBERTa et XLNet peinent à comprendre précisément la négation. Cependant, la capacité de reconnaissance de la négation des modèles d'intégration textuelle universels n'a pas été clairement établie en raison du biais des benchmarks d'évaluation. Dans cette étude, nous constatons que les modèles d'intégration textuelle universels de pointe ne parviennent pas à reconnaître la négation et ont tendance à interpréter les paires de textes niés comme sémantiquement similaires. Pour résoudre ce problème, nous proposons une méthode de repondération de l'intégration efficace en termes de données et de calcul, sans modifier les paramètres des modèles d'intégration textuelle. Cette méthode améliore la capacité de reconnaissance de la négation des modèles d'intégration textuelle pour les tâches de compréhension de la négation simples et complexes, ainsi que pour les intégrations textuelles universelles de grande dimension, spécifiques à une tâche et basées sur des modèles de langage à grande échelle.

Takeaways, Limitations_

Takeaways:
Nous fournissons une analyse approfondie de la capacité du modèle universel d'intégration de texte à reconnaître les mots négatifs.
Nous présentons une méthode de pondération d'intégration efficace en termes de données et de calcul qui peut surmonter les limites des modèles existants dans la reconnaissance de mots négatifs.
La méthode proposée démontre des performances améliorées dans diverses tâches de compréhension de mots négatifs.
Il démontre également l’applicabilité aux intégrations basées sur des modèles de langage à grande échelle.
Limitations:
D’autres études sont nécessaires pour étudier les performances de généralisation de la méthode proposée.
L’expérimentation entre les langues et les domaines peut être limitée.
Il est possible que le biais des critères d’évaluation n’ait pas été entièrement pris en compte.
👍