A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks
Created by
Haebom
저자
Thomas Schmied, Thomas Adler, Vihang Patil, Maximilian Beck, Korbinian Poppel, Johannes Brandstetter, Gunter Klambauer, Razvan Pascanu, Sepp Hochreiter
개요
본 논문은 대규모 데이터셋을 오프라인으로 학습시킨 대규모 행동 모델에 대한 최근 강화학습(RL)의 동향을 다룹니다. 기존의 트랜스포머 기반 모델은 강력한 에이전트를 생성하지만 느린 추론 시간으로 인해 로봇 공학과 같은 실시간 응용 분야에는 부적합합니다. 본 논문에서는 xLSTM과 Mamba와 같은 최신 순환 아키텍처의 장점을 활용하여, 선형 시간 추론 복잡도와 자연스러운 시퀀스 길이 외삽 능력을 갖춘 대규모 순환 행동 모델(LRAM)을 제안합니다. xLSTM을 중심으로 하는 LRAM은 6개 도메인의 432개 작업에 대한 실험에서 성능과 속도 면에서 트랜스포머와 비교될 만한 결과를 보여줍니다.
시사점, 한계점
•
시사점:
◦
최신 순환 아키텍처(xLSTM 등)를 사용하여 대규모 행동 모델을 구축함으로써 트랜스포머 기반 모델의 속도 문제를 해결할 수 있음을 보여줍니다.
◦
LRAM은 트랜스포머와 비교하여 실시간 응용 분야에 적합한 빠른 추론 속도를 제공하면서 동등한 성능을 달성합니다.
◦
선형 시간 추론 복잡도와 시퀀스 길이 외삽 능력은 다양한 작업에 대한 확장성을 제공합니다.
•
한계점:
◦
제시된 실험의 범위가 특정 도메인에 국한될 수 있으며, 더욱 광범위한 작업 및 환경에서의 성능 평가가 필요합니다.
