Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

AMELIA: A Family of Multi-task End-to-end Language Models for Argumentation

Created by
  • Haebom

作者

Henri Savigny, Bruno Yun

概要

本論文では,単一の大規模言語モデルを利用して,複数の論証マイニング作業を実行する方法を研究した。 19の既存の議論マイニングデータセットを統合形式に変換してマルチタスクデータセットを構築し、Meta AIのLlama-3.1-8B-Instructモデルを使用して、個々のタスクごとの微調整、マルチタスク同時微調整、および個々のタスクごとに微調整されたモデルのマージなど、さまざまなトレーニング戦略を探求します。実験の結果、タスクごとの微調整はすべてのタスクで個々のパフォーマンスを大幅に向上させ、マルチタスクの微調整はパフォーマンスを低下させることなく強力なパフォーマンスを維持し、効果的な遷移学習を実証します。最後に、モデルのマージは、マルチタスクの微調整に関連する高い計算コストを軽減しながら、競争力のあるパフォーマンスを提供する実行可能な方法であることを示しています。

Takeaways、Limitations

•
Takeaways:
◦
単一のLLMを使用して、さまざまな議論マイニング作業を効果的に実行する方法を紹介します。
◦
マルチタスク微調整による効果的な遷移学習の可能性を確認します。
◦
モデルのマージは、計算コストを削減しながら競争力のあるパフォーマンスを達成できることを示しています。
◦
さまざまな議論マイニングデータセットを統合した新しいマルチタスクデータセットを提供します。
•
Limitations:
◦
特定のLLM（Llama-3.1-8B-Instruct）の結果であるため、他のモデルの一般化の可能性にはさらなる研究が必要です。
◦
マルチタスクデータセットのバランスとデータ品質の追加分析が必要になる場合があります。
◦
モデルマージ戦略の最適化に関するさらなる研究が必要となる場合がある。
👍
Made with Slashpage