Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

EEG2TEXT-CN: An Exploratory Study of Open-Vocabulary Chinese Text-EEG Alignment via Large Language Model and Contrastive Learning on ChineseEEG

Created by
  • Haebom

作者

Jacky Tai-Yu Lu, Jung Chiang, Chi-Sheng Chen, Anna Nai-Yun Tung, Hsiang Wei Hu, Yuan Chiao Cheng

概要

EEG2TEXT-CNは、中国語のための最初のオープンな語彙EEG-テキスト生成フレームワークの1つです。生物学的に基づくEEGエンコーダ(NICE-EEG)と小型の事前訓練された言語モデル(MiniLM)に基づいて、マスク事前訓練と対照学習を介して多チャンネル脳信号と自然言語表現を整列します。中国語EEGデータセットのサブセット(各文は、約10個の中国語文字と256Hzで記録された128チャネルEEGがソートされています)を使用して、EEGを文字単位の埋め込みに分割し、ゼロショット設定で文全体を予測します。デコーダは教師の強制およびパディングマスクで訓練され、可変長シーケンスを処理する。 1,500以上のトレーニング - 検証文と300の別々のテストサンプルの評価結果は、最大BLEU-1スコア6.38%で有望な語彙アライメントを示しています。構文流暢性は依然として課題ですが、この研究はEEGからの非陰性、クロスモーダル言語復号の実現可能性を示しています。これは多言語脳テキスト研究の新しい方向性を提示し、中国語ベースの将来の認知言語インターフェースのための基盤を築きます。

Takeaways、Limitations

Takeaways:
中国語のためのオープンな語彙EEG-テキスト生成フレームワークを提示します。
非音声、クロスモーダル言語復号化の実現可能性を実証。
多言語脳テキスト研究の新しい方向性の提示と中国語ベースの認知言語インターフェースの基盤
マスク事前訓練と対照学習によるEEG信号と自然言語表現の効果的な整列
Limitations:
フレーズ流暢性は依然として課題として残っています。
BLEU-1スコア6.38%で性能向上の余地がある。
使用されるデータセットのサイズが比較的小さい場合があります。
👍