Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

End-to-End Long Document Summarization using Gradient Caching

Created by
  • Haebom

作者

Rohit Saxena, Hao Tang, Fr​​ank Keller

概要

この論文では、Transformerベースのエンコーダ - デコーダモデルを使用した長い文書の要約で発生する従来の困難、すなわちトレーニング中の二次的なメモリ消費の問題を解決するための新しい方法であるCachED（Gradient Caching for Encoder-Decoderモデル）を提案します。 CachEDは、入力文書を切り取ることなく、文書全体を使用してエンドツーエンドのトレーニングを可能にします。重なり合うスライドウィンドウを使用して入力文書を処理し、デコーダで融合する方式を使用し、逆伝播過程で勾配をデコーダにキャッシュし、エンコーダを介してチャンク単位で再計算して伝達します。実験の結果、BARTモデルをCachED BARTに拡張して50万トークン以上を処理しながら、追加のパラメータなしで優れた性能を達成しました。

Takeaways、Limitations

•
Takeaways：
◦
Transformerベースのモデルを用いた長い文書の要約におけるメモリ問題解決への新しいアプローチの提示
◦
入力文書のTruncationなしで文書全体を活用したend-to-end学習可能。
◦
追加のパラメータなしで既存のモデルのパフォーマンスを向上させます。
◦
50万トークン以上の長い文書処理可能性を証明。
•
Limitations：
◦
CachEDの効率は、スライドウィンドウのサイズや重なり合いなど、ハイパーパラメータに敏感です。
◦
他のタイプのSequence-to-sequence taskの一般化パフォーマンス検証が必要です。
◦
特定のモデル（BART）の実験結果のみが提示され、他のモデルへの適用性は限られているようです。
◦
非常に長いドキュメントの処理性能とスケーラビリティの追加分析が必要です。
👍
Made with Slashpage