Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Identification et désambiguïsation de construction à l'aide de BERT : une étude de cas de NPN

Created by
  • Haebom

Auteur

Wesley Scivetti, Nathan Schneider

Contour

Dans cet article, nous étudions comment BERT, un modèle de langage basé sur Transformer, représente les syntagmes NPN (Nom-Préposition-Nom) anglais (par exemple, face à face, day to day) en s'appuyant sur la théorie de la grammaire de construction. Les syntagmes NPN sont des syntagmes relativement rares présentant des caractéristiques polysémiques. Nous construisons un corpus de données annoté sémantiquement (incluant les termes d'erreur) et l'utilisons pour entraîner et évaluer un classificateur de sondage explorant la représentation de BERT. Les résultats expérimentaux montrent que les plongements BERT contiennent des informations représentant le sens des syntagmes NPN et contiennent implicitement des connaissances sur les syntagmes NPN au-delà de simples indices syntaxiques ou lexicaux superficiels. En particulier, nous avons également confirmé leur sensibilité à la morphologie, ce qui fait qu'ils ne sont pas reconnus comme syntagmes NPN lorsque l'ordre des mots est modifié artificiellement.

Takeaways, Limitations_

Takeaways:
Nous démontrons que les modèles Transformer comme BERT peuvent représenter implicitement des connaissances sémantiques et morphologiques pour des phrases rares et polysémiques.
Nous présentons des preuves à l’appui de la théorie de la grammaire de construction.
Il offre une meilleure compréhension de la représentation interne de BERT et Takeaways pour le développement futur du modèle de langage.
Limitations:
ÉTant donné que les constructions cibles pour l’analyse sont limitées aux constructions NPN, des recherches supplémentaires sur la généralisabilité sont nécessaires.
Les résultats peuvent être affectés par la taille et la diversité de l’ensemble de données utilisé.
Une compréhension complète des mécanismes internes de BERT reste encore difficile à atteindre.
Des recherches sur d’autres langues et d’autres types de syntaxe sont nécessaires.
👍