XLand-100B: A Large-Scale Multi-Task Dataset for In-Context Reinforcement Learning
Created by
- Haebom
Category
Empty
저자
Alexander Nikulin, Ilya Zisman, Alexey Zemtsov, Vladislav Kurenkov
개요
본 논문은 In-context Reinforcement Learning (ICRL) 분야의 발전을 저해하는 요소인, 단순 환경과 소규모 데이터셋에 국한된 기존 연구의 한계를 극복하기 위해 대규모 ICRL 데이터셋인 XLand-100B를 제시합니다. XLand-MiniGrid 환경을 기반으로 하는 XLand-100B는 약 30,000개의 서로 다른 과제에 대한 완전한 학습 이력을 포함하며, 1000억 개의 전이와 25억 개의 에피소드로 구성됩니다. 5만 GPU 시간을 투입하여 생성된 이 데이터셋은 대부분의 학계 연구실에서는 구축하기 어려운 규모입니다. 논문에서는 데이터셋과 함께 재현 및 확장을 위한 유틸리티를 제공하며, 일반적인 ICRL 기준 모델들의 성능을 벤치마킹하여 새로운 다양한 과제에 대한 일반화 능력이 부족함을 보여줍니다. 궁극적으로 이 연구는 ICRL 분야의 연구를 민주화하고 더 큰 규모로 확장하기 위한 견고한 기반을 제공하고자 합니다.
시사점, 한계점
•
시사점:
◦
대규모 ICRL 데이터셋 XLand-100B를 제공하여 ICRL 연구의 발전을 가속화할 수 있습니다.
◦
기존 ICRL 기준 모델들의 한계를 보여주고 향후 연구 방향을 제시합니다.
◦
데이터셋 구축 및 활용을 위한 유틸리티 제공으로 ICRL 연구의 접근성을 높입니다.
•
한계점:
◦
데이터셋 구축에 막대한 GPU 시간(5만 시간)이 소요되어 접근성에 제한이 있을 수 있습니다.
◦
XLand-MiniGrid 환경에 기반하여, 실제 세계 문제에 대한 일반화 성능 평가가 추가적으로 필요합니다.
◦
제시된 벤치마크 결과가 특정 기준 모델에 국한되어 다른 모델들에 대한 추가적인 실험이 필요할 수 있습니다.
