Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation

Created by
  • Haebom

作者

Deepon Halder, Thanmay Jayakumar, Raj Dabre

概要

この論文は、低資源言語の高品質機械翻訳システムを構築するための新しいブートストラップアプローチであるCycleDistillを提案します。 CycleDistillは、大規模言語モデル（LLM）と少数ショット翻訳を活用して、単一の言語の束から合成平行の束を繰り返し生成し、生成されたデータでモデルを微調整する方法です。平行馬数が1〜4個の少数ショットの例のみが必要であり、3つのインド言語を対象とした実験で、単一言語馬数だけでも高品質の機械翻訳を達成し、少数ショット基準モデルと比較して、最初の反復で平均20〜30chrFポイント以上の向上を示した。さらに、蒸留中にソフトマックス活性化を利用する効果を研究し、翻訳品質のわずかな改善を観察しました。

Takeaways、Limitations

•
Takeaways：
◦
低資源言語のための高品質機械翻訳システム開発のための効果的なブートストラップ法の提示
◦
少量のデータだけでも高いパフォーマンスを達成できることを示しています。
◦
単一言語の頬だけを用いた平行靭の生成とモデル学習の可能性の提示
◦
ソフトマックス活性化を利用した蒸留過程の効果確認。
•
Limitations：
◦
提示された方法論の他の低資源言語と様々な言語対の一般化の可能性に関するさらなる研究の必要性
◦
合成平行杭の品質が最終翻訳性能に及ぼす影響の詳細な分析の必要性
◦
使用されるLLMの種類とサイズが結果に与える影響に関する追加の実験が必要です。
◦
ChrFスコア以外の評価指標を活用した性能評価が必要。
👍
Made with Slashpage