Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Seed-X: Building Strong Multilingual Translation LLM with 7B パラメータ

Created by
  • Haebom

作者

Shanbo Cheng, Yu Bao, Qian Cao, Luyang Huang, Liyan Kang, Zhicheng Liu, Yu Lu, Wenhao Zhu, Jingwen Chen, Zhichao Huang, Tao Li, Yifu Li, Huiying Lin, Sitong Liu, Ningxin Peng, Shuaijie She, Lu Xu Yu, Liehao Zou, Hang Li, Lu Lu, Yuxuan Wang, Yonghui Wu

概要

Seed-Xは、70億のパラメータを持つオープンソースの大規模言語モデル（LLM）ファミリで、指示と推論モデルを含みます。 28言語の多様で高品質の単一言語および二言語コンテンツを使用して事前トレーニングされ、思考連鎖（CoT）推論を通じて微調整され、強化学習（RL）を介してさまざまな言語ペアでより良い一般化を達成します。 Gemini-2.5やGPT-4oなどの主要な閉鎖モデルと比較して28の言語で性能を達成し、自動評価指標と人間評価の両方で大きなオープンソースモデルを大幅に上回ります。最適化プロセスを通じて最良のケースを共有し、翻訳研究とアプリケーション開発のためのパラメータを公開します。

Takeaways、Limitations

•
Takeaways:
◦
70億パラメータの比較的小さいサイズで、最先端の閉鎖型モデルと同様の性能を達成し、軽量化された高性能多言語翻訳モデルの開発可能性を示す。
◦
オープンソースとして公開され、多言語翻訳研究や応用分野の発展に貢献。
◦
思考連鎖（CoT）推論と強化学習（RL）を活用して多様な言語ペアに対する一般化性能向上。
◦
さまざまな言語をサポートする高品質の多言語データセットを活用した効果的な事前トレーニング方法の提示。
•
Limitations：
◦
論文では具体的なLimitationsや今後の研究方向への言及が不足している。
◦
70億パラメータは依然としてかなりの規模のモデルであるため、より小さなサイズのモデル開発に関する研究が必要になる可能性があります。
◦
特定の言語のペアや文の種類に対するパフォーマンスの偏差など、詳細なパフォーマンス分析が不足する可能性があります。
👍
Made with Slashpage