Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

EEG2TEXT-CN: Un estudio exploratorio de la alineación de texto-EEG chino de vocabulario abierto mediante un modelo de lenguaje amplio y aprendizaje contrastivo en ChineseEEG

Created by
  • Haebom

Autor

Jacky Tai-Yu Lu, Jung Chiang, Chi-Sheng Chen, Anna Nai-Yun Tung, Hsiang Wei Hu, Yuan Chiao Cheng

Describir

EEG2TEXT-CN es uno de los primeros marcos de generación de EEG a texto con vocabulario abierto para chino. Basado en un codificador de EEG de base biológica (NICE-EEG) y un pequeño modelo de lenguaje preentrenado (MiniLM), alinea señales cerebrales multicanal con representaciones del lenguaje natural mediante preentrenamiento con máscaras y aprendizaje contrastivo. Utilizando un subconjunto del conjunto de datos de EEG chino (cada oración se alinea con aproximadamente 10 caracteres chinos y 128 canales de EEG registrados a 256 Hz), segmenta el EEG en incrustaciones por carácter y predice oraciones completas en entornos de cero disparos. El decodificador se entrena con máscaras forzadas por el profesor y rellenadas para manejar secuencias de longitud variable. Los resultados de la evaluación en más de 1500 oraciones de entrenamiento-validación y 300 muestras de prueba independientes muestran una alineación léxica prometedora, con una puntuación máxima en BLEU-1 del 6,38 %. Aunque la fluidez sintáctica sigue siendo un desafío, este estudio demuestra la viabilidad de la decodificación lingüística no fonética e intermodal mediante EEG. Esto abre nuevas vías para la investigación multilingüe de textos cerebrales y sienta las bases para futuras interfaces cognitivo-lingüísticas basadas en el chino.

Takeaways, Limitations

Takeaways:
Presentamos un marco de generación de EEG a texto de vocabulario abierto para chino.
Demostrar la viabilidad de la decodificación del lenguaje no fonético e intermodal.
Presentando nuevas direcciones en la investigación de textos cerebrales multilingües y sentando las bases para interfaces cognitivo-lingüísticas basadas en chino.
Alineación efectiva de señales de EEG y expresiones de lenguaje natural mediante preentrenamiento con máscara y aprendizaje contrastivo.
Limitations:
La fluidez sintáctica sigue siendo un desafío.
Hay margen para mejorar el rendimiento con una puntuación BLEU-1 del 6,38%.
El tamaño del conjunto de datos utilizado puede ser relativamente pequeño.
👍