RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility
Created by
Haebom
作者
Haoyu He, Haozheng Luo, Yan Chen, Qi R. Wang
概要
本論文では、複雑な長距離依存性とマルチスケール周期的行動のために本質的に困難な人間移動予測問題を解決するために、大規模言語モデル(LLM)を一般的な時空間予測および軌道推論機として活用する統合フレームワークであるRHYTHM(Reasoning with Hierarchical Temporal Tokenization for Human Mobility)を提案します。 RHYTHM は、軌跡を日別セグメントに分割し、階層的アテンションを使用して日次依存関係と週間依存性の両方をキャプチャする時系列トークン化を使用して、シーケンシャル長を短縮しながら、循環情報を維持します。さらに、事前計算されたプロンプト埋め込みを追加してトークン表現を豊かにし、LLMバックボーンにフィードして複雑な相互依存関係をキャプチャします。事前に訓練されたLLMバックボーンを固定して、より速いトレーニングと低いメモリ使用量を達成します。 3つの実際のデータセットを使用して、最先端の方法と比較して2.4%の精度向上、週末の5.0%の増加、トレーニング時間の24.6%の減少を達成しました。