Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Steering Large Language Models for Machine Translation Personalization

Created by
  • Haebom

作者

Daniel Scalena, Gabriele Sarti, Arianna Bisazza, Elisabetta Fersini, Malvina Nissim

概要

大規模な言語モデルは、事前定義されたスタイル制約を反映したパーソナライズされた翻訳の生成を簡素化しましたが、特定の人間の翻訳者によって生成されたテキストなど、スタイル要件が一連の例として暗黙的に表現されるときは、まだ困難になります。この研究では、文学翻訳の難しい分野に焦点を当て、少数の例が利用可能な場合に自動生成された翻訳をパーソナライズするためのさまざまな戦略を探ります。モデル表現内でスタイル情報がどのようにエンコードされているのか、まずタスクの実現可能性を決定します。次に、パーソナライズされたスタイルに合わせてモデル作成を導くためのさまざまなプロンプト戦略と推論時間の介入を評価し、特に希少自動エンコーダ(SAE)潜在変数を使用した対照的なステアリングに焦点を当てて、重要なパーソナライゼーション属性を識別します。対照的なSAEステアリングは、強力なスタイル条件設定と翻訳品質を提供し、プロンプト方式よりも高い推論時間計算効率を得ることを示しています。さらに、ステアリングがモデルの活性化に与える影響を調べて、パーソナライゼーション属性をエンコードするレイヤーがプロンプトとSAEステアリングに同様に影響を受けることを確認し、同様のメカニズムが機能していることを示唆しています.

Takeaways、Limitations

少数の例を使用して自動翻訳をパーソナライズする効果的な方法を探る
対照的なSAEステアリングがプロンプト方式よりも効率的で品質に優れていることを証明
SAEステアリングがモデル活性化に及ぼす影響分析,パーソナライゼーションメカニズムへの洞察
文学翻訳ドメインに焦点を当てる
単一ドメイン(文学翻訳)に限定され、他のドメインへの一般化困難
パーソナライズされたスタイルの定量的評価の欠如
SAEステアリングの最適パラメータと構造に関するさらなる研究の必要性
👍