Pelican-VL 1.0: A Foundation Brain Model for Embodied Intelligence
Created by
- Haebom
Category
Empty
저자
Yi Zhang, Che Liu, Xiancong Ren, Hanchu Ni, Shuai Zhang, Zeyuan Ding, Jiayu Hu, Hanzhe Shan, Zhenwei Niu, Zhaoyang Liu, Yue Zhao, Junbo Qi, Qinfan Zhang, Dengjie Li, Yidong Wang, Jiachen Luo, Yong Dai, Jian Tang, Xiaozhu Ju
개요
Pelican-VL 1.0은 70억에서 720억 개의 매개변수를 가진 오픈소스 구체화된 뇌 모델 제품군입니다. 다양한 구체화에 강력한 인텔리전스를 임베딩하는 것을 목표로 하며, 데이터와 지능형 적응 학습 메커니즘을 심층적으로 통합한 것이 특징입니다. 40억 개 이상의 토큰을 포함하는 원시 데이터 세트에서 고품질 데이터 세트를 추출했으며, 1000개 이상의 A800 GPU 클러스터에서 5만 개 이상의 A800 GPU 시간을 소비하여 훈련되었습니다. DPPO (Deliberate Practice Policy Optimization)라는 인간의 메타 인지에서 영감을 얻은 새로운 프레임워크를 사용하여 훈련되었습니다.
시사점, 한계점
•
최대 규모의 오픈소스 구체화된 다중 모드 뇌 모델
•
베이스 모델 대비 20.3% 성능 향상 및 1000억 수준의 오픈소스 모델 대비 10.6% 성능 우위
•
잘 알려진 구체화된 벤치마크에서 선도적인 독점 시스템과 동등한 수준
•
DPPO 프레임워크를 활용하여 훈련된 AI는 의도적으로 연습하도록 학습
