Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

EEG2TEXT-CN : Étude exploratoire de l'alignement texte-EEG chinois à vocabulaire ouvert via un modèle de langage étendu et un apprentissage contrastif sur l'EEG chinois

Created by
  • Haebom

Auteur

Jacky Tai-Yu Lu, Jung Chiang, Chi-Sheng Chen, Anna Nai-Yun Tung, Hsiang Wei Hu, Yuan Chiao Cheng

Contour

EEG2TEXT-CN est l'un des premiers frameworks de génération EEG-texte à vocabulaire ouvert pour le chinois. Basé sur un encodeur EEG biologique (NICE-EEG) et un petit modèle de langage pré-entraîné (MiniLM), il aligne les signaux cérébraux multicanaux avec les représentations du langage naturel grâce au pré-entraînement par masque et à l'apprentissage contrastif. Utilisant un sous-ensemble de données EEG chinoises (chaque phrase est alignée sur environ 10 caractères chinois et un EEG à 128 canaux enregistré à 256 Hz), il segmente l'EEG en intégrations caractère par caractère et prédit des phrases entières dans des conditions de zéro-coup. Le décodeur est entraîné avec des masques forcés et rembourrés par l'enseignant pour gérer des séquences de longueur variable. Les résultats d'évaluation portant sur plus de 1 500 phrases de validation d'entraînement et 300 échantillons de test distincts montrent un alignement lexical prometteur avec un score BLEU-1 maximal de 6,38 %. Bien que la fluidité syntaxique demeure un défi, cette étude démontre la faisabilité du décodage non phonétique et intermodal du langage à partir de l'EEG. Cela ouvre de nouvelles perspectives pour la recherche sur le texte cérébral multilingue et pose les bases de futures interfaces cognitives basées sur le chinois.

Takeaways, Limitations

Takeaways:
Nous présentons un cadre de génération EEG-texte à vocabulaire ouvert pour le chinois.
Démontrer la faisabilité du décodage linguistique non phonétique et intermodal.
Présentation de nouvelles orientations dans la recherche sur le texte cérébral multilingue et pose les bases d'interfaces cognitivo-linguistiques basées sur le chinois.
Alignement efficace des signaux EEG et des expressions du langage naturel via le pré-entraînement au masque et l'apprentissage contrastif.
Limitations:
La fluidité syntaxique reste un défi.
Il y a une marge d’amélioration des performances avec un score BLEU-1 de 6,38 %.
La taille de l’ensemble de données utilisé peut être relativement petite.
👍