Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Pelican-VL 1.0: A Foundation Brain Model for Embodied Intelligence

Created by
  • Haebom
Category
Empty

저자

Yi Zhang, Che Liu, Xiancong Ren, Hanchu Ni, Shuai Zhang, Zeyuan Ding, Jiayu Hu, Hanzhe Shan, Zhenwei Niu, Zhaoyang Liu, Shuang Liu, Yue Zhao, Junbo Qi, Qinfan Zhang, Dengjie Li, Yidong Wang, Jiachen Luo, Yong Dai, Zenglin Xu, Bin Shen, Qifan Wang, Jian Tang, Xiaozhu Ju

개요

본 보고서는 70억에서 720억 개의 매개변수를 가진 오픈 소스 구체화된 뇌 모델 제품군인 Pelican-VL 1.0을 소개합니다. Pelican-VL 1.0은 데이터와 지능형 적응 학습 메커니즘을 심층적으로 통합하는 것을 핵심 강점으로 합니다. 40억 개 이상의 토큰을 포함하는 원시 데이터 세트에서 고품질 데이터 세트를 추출하고, DPPO(Deliberate Practice Policy Optimization) 프레임워크를 사용하여 훈련했습니다. Pelican-VL 1.0은 1000개 이상의 A800 GPU 클러스터에서 훈련되었으며, 20.3%의 성능 향상을 보이며, 잘 알려진 구체화된 벤치마크에서 선도적인 독점 시스템과 동등한 수준의 성능을 보입니다.

시사점, 한계점

최대 규모의 오픈 소스 구체화된 멀티 모달 뇌 모델.
데이터 및 지능형 학습 메커니즘의 심층적인 통합.
DPPO 프레임워크를 활용한 훈련.
베이스 모델 대비 20.3% 성능 향상.
1000개 이상의 A800 GPU를 사용한 대규모 훈련 인프라 필요.
구체적인 한계점은 논문에서 상세하게 언급되지 않음.
👍