Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Next-Token Prediction Task Assumes Optimal Data Ordering for LLM Training in Proof Generation

Created by
  • Haebom

作者

Chenyang An, Shima Imani, Feng Yao, Chengyu Dong, Ali Abbasi, Harsh Shrivastava, Samuel Buss, Jingbo Shang, Gayathri Mahalingam, Pramod Sharma, Maurice Diesendruck

概要

本論文は、大規模言語モデル(LLM)ベースの証明生成分野でLLMの性能が期待に及ばない原因をデータの非最適な順序にある​​と主張する。段階の前に位置する順序を意味する。 直観的順次順序の効果は直観論理整理証明と桁乗算二つの作業で検証され、最適順序で学習されたモデルが最悪の順序で学習されたモデルよりも証明成功率が最大11%向上する結果を見せた。 17.3%がこの問題を持っていることを明らかにした。

Takeaways、Limitations

Takeaways: LLMベースの証明生成のパフォーマンスを向上させるためには、学習データの順序を考慮する必要があることを示しています。直感的に逐次的なデータ整列がモデル性能に大きな影響を与えることを実験的に証明した。高度な数学証明データセットの定性的な改善の方向を提示します。
Limitations:提示された「直観的に順次的な順序」の定義がすべての種類の証明に適用可能な普遍的な基準であることに関する追加の研究が必要である。
👍