TIDES: Implicit Time-Awareness in Selective State Space Models

작성자

Haebom

카테고리

Empty

저자

Taylan Soydan, Miguel A. Bessa, Dirk Mohr, Rui Barreira

💡 개요

본 논문은 기존 선택적 상태 공간 모델(SSM)의 학습 가능한 시간 이산화 변수($\Tilde{\Delta}$)가 물리적 샘플링 간격을 대표하지 못해 불규칙 시계열 데이터 처리에 한계가 있다는 문제를 제기합니다. 이를 해결하기 위해 제안된 TIDES는 입력 의존성을 시간 스텝 크기 대신 대각 상태 행렬로 이동시켜, $\Tilde{\Delta}$가 물리적 의미를 유지하면서도 불규칙 시계열을 직접 처리할 수 있도록 합니다. 또한, 선택적 SSM의 높은 토큰당 표현력을 저하시키지 않으면서 불규칙한 시간 정보를 효율적으로 모델링합니다.

🔑 시사점 및 한계

•

TIDES는 선택적 SSM의 높은 표현력과 연속 시간 SSM의 물리적 시간 정보 유지라는 두 장점을 결합하여, 불규칙 시계열 데이터에 대한 모델링 성능을 크게 향상시킵니다.

•

새로운 Fading Flash 벤치마크를 통해 TIDES가 기존 모델의 다양한 실패 모드를 피하고 뛰어난 일반화 능력을 보임을 입증합니다.

•

대규모 시계열 분류 및 회귀 벤치마크에서 최신 기술을 뛰어넘는 성능을 달성하며, 실제 응용 가능성을 보여줍니다.

•

(한계점 또는 향후 과제) TIDES의 계산 복잡성이나 대규모 모델 학습 시의 안정성에 대한 추가적인 연구가 필요할 수 있습니다. 또한, 다양한 유형의 불규칙 시계열 데이터에 대한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage