Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility

Created by
  • Haebom

作者

Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang

概要

本論文では、複雑な長距離依存性とマルチスケール周期的行動のために本質的に困難な人間移動予測問題を解決するために、大規模言語モデル(LLM)を一般的な時空間予測および軌道推論機として活用する統合フレームワークであるRHYTHM(Reasoning with Hierarchical Temporal Tokenization for Human Mobility)を提案します。 RHYTHM は、軌跡を日別セグメントに分割し、階層的アテンションを使用して日次依存関係と週間依存性の両方をキャプチャする時系列トークン化を使用して、シーケンシャル長を短縮しながら、循環情報を維持します。さらに、事前計算されたプロンプト埋め込みを追加してトークン表現を豊かにし、LLMバックボーンにフィードして複雑な相互依存関係をキャプチャします。事前に訓練されたLLMバックボーンを固定して、より速いトレーニングと低いメモリ使用量を達成します。 3つの実際のデータセットを使用して、最先端の方法と比較して2.4%の精度向上、週末の5.0%の増加、トレーニング時間の24.6%の減少を達成しました。

Takeaways、Limitations

Takeaways:
LLMを活用した新しい人間移動予測フレームワークの提示
階層的時系列トークン化による逐次長を効果的に短縮
事前訓練されたLLMバックボーンを活用して計算効率を向上させます。
実際のデータセットで優れたパフォーマンスが見られます(全体的な精度の向上、週末のパフォーマンスの向上、トレーニング時間の短縮)。
コード公開。
Limitations:
論文に具体的なLimitations言及なし。 (Abstractベース)
👍