Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Leveraging Large Language Models for Accurate Sign Language Translation in Low-Resource Scenarios

Created by
  • Haebom

作者

Luana Bulla, Gabriele Tuccio, Misael Mongiov i, Aldo Gangemi

概要

本論文では、自然言語を手話に翻訳する課題の難しさとデータ不足の問題を解決するために、大規模言語モデル(LLM)を活用した新しい方法であるAulSignを提案します。 AulSignは動的プロンプトとサンプルの選択とその後の手話関連による文脈学習を活用し、LLMのテキスト処理能力を手話翻訳に適用します。 LLMの手話に関する知識の欠如の問題は、手話を自然言語の説明と結び付けることによって解決され、SignBank +とLaCAM CNR-ISTCデータセットを使用して英語とイタリア語の実験を通じて、従来の最高のパフォーマンスモデルよりも低いデータ環境で優れたパフォーマンスを示すことが証明されています。これは、疎外された言語コミュニティのためのアクセシビリティと包括性を向上させる可能性があります。

Takeaways、Limitations

Takeaways:
LLMを活用した手話翻訳の新たな可能性を提示
データ不足の問題を効果的に解決する方法を提示
疎外された言語コミュニティのアクセシビリティと包括性の向上に貢献
低データ環境で従来モデルより優れた性能を実現
Limitations:
使用されるデータセットの規模と多様性に関する追加の研究が必要
手話の視覚的、空間的特性を完全に反映できない可能性
さまざまな手話言語の一般化性能検証が必要
自然言語記述と手話の間の正確な関連マッピングの難しさ
👍