この論文では、スー語翻訳におけるデータ不足の問題を解決するために、大規模言語モデル（LLM）を組み込んだ新しい訓練を必要としないスー語の識別と位置決め（Sign Spotting）フレームワークを紹介します。従来のアプローチとは対照的に、本研究では、グローバル時空間および手の形の特徴を抽出し、動的時間歪みおよび余弦類似度を使用して大規模な手語辞書と比較する。 LLMは、微調整なしでビームサーチを介してコンテキスト認識語彙解析を実行し、マッチングプロセスで発生するノイズとあいまいさを軽減します。合成と実際の手術データセットを使用した実験結果は、従来の方法よりも精度と文章の流暢性が向上することを示しています。
