Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DyTTP: Trajectory Prediction with Normalization-Free Transformers

Created by
  • Haebom

저자

Yunxiang Liu, Hongkuo Niu

개요

본 논문은 자율 주행 시스템의 안전한 작동을 위해 중요한 주변 에이전트의 동적 행동 이해를 기반으로 정확한 궤적 예측을 다룬다. 기존 Transformer 기반 아키텍처의 정규화 계층 의존성으로 인한 계산 오버헤드 및 훈련 불안정성 문제를 해결하기 위해, 두 가지 접근 방식을 제시한다. 첫째, 기존 계층 정규화를 대체하는 최신 Transformer 개선 방법인 DynamicTanh (DyT)를 백본에 통합하여 네트워크 아키텍처를 단순화하고 추론 안정성을 향상시킨다. 둘째, 스냅샷 앙상블 전략을 사용하여 순환 학습률 스케줄링을 통해 단일 훈련 실행 중 여러 모델 스냅샷을 캡처하고, 추론 시 단순 평균화를 통해 추가적인 계산 비용 없이 다양한 가설의 이점을 얻는다. Argoverse 데이터셋을 사용한 실험 결과, 제안된 방법이 예측 정확도, 추론 속도 및 다양한 주행 시나리오에서의 강건성을 크게 향상시킨다는 것을 보여준다.

시사점, 한계점

시사점:
DynamicTanh (DyT)를 활용하여 Transformer 기반 궤적 예측 모델의 계산 오버헤드 및 훈련 불안정성 문제를 효과적으로 해결하였다.
스냅샷 앙상블 기법을 통해 추가적인 계산 비용 없이 예측 정확도를 향상시켰다.
Argoverse 데이터셋에서 제안된 방법의 우수성을 실험적으로 검증하였다.
정규화 계층이 없는 Transformer 설계와 경량 앙상블 기법의 조합이 자율 주행을 위한 궤적 예측 발전에 기여할 가능성을 보여주었다.
한계점:
제안된 방법의 성능이 특정 데이터셋(Argoverse)에 국한될 가능성이 있다. 다른 데이터셋으로의 일반화 성능에 대한 추가적인 연구가 필요하다.
DynamicTanh (DyT) 자체의 한계점이 제안된 방법의 성능에 영향을 미칠 수 있다.
스냅샷 앙상블의 최적 매개변수 설정에 대한 추가적인 연구가 필요하다.
👍