每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

日期碎片：时间推理标记化的隐藏瓶颈

Created by
  • Haebom

作者

Gagan Bhatia、Maxime Peyrard、赵伟

大纲

本文探讨了现代 BPE 分词器将日期分割成无意义片段的问题。为了解决这个问题，我们引入了一个全新的指标——日期片段率，并发布了 DateAugBench 数据集。该数据集涵盖三个时间推理任务：基于上下文的日期解释、格式不变的谜题以及跨历史、当代和未来时间轴的日期运算。此外，我们还研究了大规模语言模型 (LLM) 如何通过逐层调查和因果注意力跳跃分析，将日期片段组合起来进行时间推理。结果表明，过多的日期片段会导致准确性下降，尤其是对于稀有日期（历史日期和未来日期）。最后，我们证明了 LLM 组合日期片段的过程与人工解读（年 → 月 → 日）的过程不同。数据集和代码均已公开。

Takeaways，Limitations

•
Takeaways：
◦
提出了一种新的指标（日期分割率）来评估日期标记器的性能。
◦
发布了用于时间推理任务的新数据集（DateAugBench）。
◦
深入了解LLM的数据处理机制（数据片段组装过程、计算方法）
◦
我们观察到，LLM 尺寸越大，数据片段组合速度越快。
◦
我们证明了过度日期分割对时间推理准确性的负面影响。
•
Limitations：
◦
需要进一步研究来确定所提出的指标和数据集的通用性。
◦
需要对LLM的日期组合过程进行更深入的分析。
◦
需要跨不同语言和文化进行进一步研究。
👍
Made with Slashpage