[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Cosmos-Reason1: From Physical Common Sense To Embodied Reasoning

Created by
  • Haebom

저자

NVIDIA, :, Alisson Azzolini, Junjie Bai, Hannah Brandon, Jiaxin Cao, Prithvijit Chattopadhyay, Huayu Chen, Jinju Chu, Yin Cui, Jenna Diamond, Yifan Ding, Liang Feng, Francesco Ferroni, Rama Govindaraju, Jinwei Gu, Siddharth Gururani, Imad El Hanafi, Zekun Hao, Jacob Huffman, Jingyi Jin, Brendan Johnson, Rizwan Khan, George Kurian, Elena Lantz, Nayeon Lee, Zhaoshuo Li, Xuan Li, Maosheng Liao, Tsung-Yi Lin, Yen-Chen Lin, Ming-Yu Liu, Xiangyu Lu, Alice Luo, Andrew Mathau, Yun Ni, Lindsey Pavao, Wei Ping, David W. Romero, Misha Smelyanskiy, Shuran Song, Lyne Tchapmi, Andrew Z. Wang, Boxin Wang, Haoxiang Wang, Fangyin Wei, Jiashu Xu, Yao Xu, Dinghao Yang, Xiaodong Yang, Zhuolin Yang, Jingxu Zhang, Xiaohui Zeng, Zhe Zhang

개요

Cosmos-Reason1 모델은 물리적 세계를 이해하고 자연어를 통해 장기적인 사고 과정을 거쳐 적절한 구체화된 결정(예: 다음 단계 동작)을 생성할 수 있는 물리적 AI 시스템입니다. 공간, 시간, 물리에 대한 기본적인 지식을 포착하는 계층적 온톨로지를 사용하여 물리적 상식을 표현하고, 서로 다른 물리적 구현에 일반화되는 2차원 온톨로지를 사용하여 구현된 추론에 의존합니다. Cosmos-Reason1-7B와 Cosmos-Reason1-56B라는 두 가지 다중 모드 대규모 언어 모델을 개발하고, 물리적 AI 감독 미세 조정(SFT)과 물리적 AI 강화 학습(RL)의 두 단계로 데이터를 큐레이션하고 모델을 훈련시켰습니다. 개발된 온톨로지에 따라 물리적 상식과 구현된 추론에 대한 종합적인 벤치마크를 구축하여 모델을 평가했습니다. 평가 결과 물리적 AI SFT와 RL이 상당한 개선을 가져왔음을 보여줍니다. 코드와 사전 훈련된 모델은 NVIDIA Open Model License하에 공개되었습니다.

시사점, 한계점

•
시사점:
◦
물리적 세계를 이해하고 자연어로 상호 작용하는 물리적 AI 시스템 개발에 중요한 진전을 이루었습니다.
◦
계층적 및 2차원 온톨로지를 사용하여 물리적 상식과 구현된 추론을 효과적으로 표현하는 방법을 제시했습니다.
◦
물리적 AI SFT와 RL을 통해 모델 성능을 크게 향상시켰습니다.
◦
코드와 사전 훈련된 모델을 공개하여 물리적 AI 연구를 가속화할 수 있습니다.
•
한계점:
◦
본 논문에서는 구체적인 한계점이 명시적으로 언급되지 않았습니다. 향후 연구를 통해 모델의 일반화 성능, 다양한 물리적 환경에 대한 적응력, 안전성 및 신뢰성 등을 더 자세히 평가할 필요가 있습니다.
◦
사용된 온톨로지의 완전성과 한계에 대한 논의가 부족합니다.
◦
다양한 벤치마크 테스트 결과의 상세 내용이 부족합니다.
👍
Made with Slashpage