Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

Created by
  • Haebom

저자

Tianxing Chen, Zanxin Chen, Baijun Chen, Zijian Cai, Yibin Liu, Zixuan Li, Qiwei Liang, Xianliang Lin, Yiheng Ge, Zhenyu Gu, Weiliang Deng, Yubin Guo, Tian Nian, Xuanbing Xie, Qiangyu Chen, Kailun Su, Tianling Xu, Guodong Liu, Mengkang Hu, Huan-ang Gao, Kaixuan Wang, Zhixuan Liang, Yusen Qin, Xiaokang Yang, Ping Luo, Yao Mu

개요

RoboTwin 2.0은 확장 가능한 이중 팔 조작을 위한 대규모 다양하고 현실적인 데이터 생성 프레임워크입니다. 기존 데이터셋의 한계(확장 가능한 작업 생성 방법 부족 및 과도하게 단순화된 시뮬레이션 환경)를 극복하기 위해, 731개의 개체 인스턴스(147개 카테고리)를 포함하는 RoboTwin-OD 객체 라이브러리를 기반으로 다중 모달 언어 모델(MLLM)과 시뮬레이션 기반 개선을 활용한 전문가 데이터 합성 파이프라인을 설계했습니다. 5가지 축(어수선함, 조명, 배경, 테이블 높이, 언어)에 걸쳐 구조화된 도메인 랜덤화를 적용하여 시뮬레이션-실제 전이를 개선하고 데이터 다양성 및 정책 강건성을 높였습니다. 50개의 이중 팔 작업과 5개의 로봇 모델에 적용하여 코드 생성 성공률 10.9% 향상, 합성 데이터와 10개의 실제 데모를 사용한 VLA 모델 학습 시 367%의 상대적 성능 향상, 합성 데이터만으로 학습된 제로샷 모델에서 228%의 성능 향상을 달성했습니다. 데이터 생성기, 벤치마크, 데이터셋 및 코드를 공개하여 확장 가능한 강건한 이중 팔 조작 연구를 지원합니다.

시사점, 한계점

•
시사점:
◦
확장 가능한 이중 팔 조작을 위한 대규모, 다양하고 현실적인 합성 데이터 생성 프레임워크 제공.
◦
다중 모달 언어 모델과 시뮬레이션 기반 개선을 통한 효율적인 작업 생성 파이프라인 제시.
◦
구조화된 도메인 랜덤화를 통한 시뮬레이션-실제 전이 성능 향상 및 환경 변화에 대한 강건성 확보.
◦
합성 데이터를 활용한 효과적인 정책 학습 및 제로샷 성능 향상.
◦
데이터 생성기, 벤치마크, 데이터셋 및 코드 공개를 통한 연구 공유 및 확장 가능성 제공.
•
한계점:
◦
현재 지원하는 로봇 모델과 작업의 다양성이 제한적일 수 있음.
◦
실제 환경과의 완벽한 일치는 어려워 실제 환경 적용 시 추가적인 조정이 필요할 수 있음.
◦
MLLM의 성능에 따라 데이터 생성의 질이 영향을 받을 수 있음.
◦
구조화된 도메인 랜덤화의 범위가 더욱 확장될 필요가 있음.
👍
Made with Slashpage