Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MoSE: Skill-by-Skill Mixture-of-Experts Learning for Embodied Autonomous Machines

Created by
  • Haebom

저자

Lu Xu, Jiaqian Yu, Xiongfeng Peng, Yiwei Chen, Weiming Li, Jaewook Yoo, Sunghyun Chunag, Dongwook Lee, Daehyun Ji, Chao Zhang

개요

본 논문은 효율적이고 지능적인 임베디드 AI 시스템에 대한 증가하는 수요를 충족시키기 위해 새로운 혼합 전문가(MoE) 방법인 MoSE를 제안합니다. 기존 MoE 모델의 단점인 방대한 훈련 데이터 및 복잡한 최적화 과정을 해결하기 위해, MoSE는 인간의 학습 및 추론 과정을 모방하여 기술 단위, 단계별 학습을 수행합니다. 특정 기술을 정의하고 주석을 달아 전문가가 다양한 시나리오와 추론 작업에 필요한 역량을 식별하도록 함으로써 기술별 학습을 용이하게 합니다. 계층적 기술 데이터셋을 구축하고 라우터를 사전 훈련하여 단계별 추론을 장려하며, 자율 주행(AD)의 지각-예측-계획 및 로봇의 고/저 수준 계획과 같은 보조 작업을 추가적인 계산 비용 없이 단일 전달 과정에 통합합니다. 30억 개 미만의 희소하게 활성화된 매개변수로 다양한 전문 지식을 효과적으로 확장하여, 기존 모델보다 적은 매개변수(40% 미만)로 AD 코너 케이스 추론 작업과 로봇 추론 작업 모두에서 성능을 능가합니다.

시사점, 한계점

•
시사점:
◦
임베디드 AI 시스템의 추론 및 학습 효율을 크게 향상시키는 새로운 MoE 방법(MoSE) 제시.
◦
기술 중심의 라우팅 메커니즘을 통해 효율적인 기술별 학습 및 다양한 전문성 확보.
◦
계층적 기술 데이터셋 및 사전 훈련된 라우터를 통해 단계별 추론 유도.
◦
추가적인 계산 비용 없이 다양한 보조 작업 통합.
◦
기존 모델보다 적은 매개변수로 우수한 성능 달성.
•
한계점:
◦
제안된 MoSE 모델의 일반화 성능에 대한 추가적인 검증 필요.
◦
특정 기술에 대한 주석 및 정의 작업의 노력과 비용 고려.
◦
다양한 임베디드 AI 시스템에 대한 적용 가능성 및 확장성에 대한 추가 연구 필요.
◦
실제 환경에서의 robustness 및 안전성 평가가 필요함.
👍
Made with Slashpage