본 논문은 이기종 다 로봇 시스템에서의 복잡한 작업 수행을 위해, 대규모 언어 모델(LLM)과 GridMask-강화 미세 조정된 비전 언어 모델(VLM)을 통합한 계층적 프레임워크를 제안합니다. LLM은 작업을 분해하고 전역 의미 지도를 구성하며, VLM은 항공 이미지에서 작업 관련 의미 레이블과 2D 공간 정보를 추출하여 지역 계획을 지원합니다. 항공 로봇은 최적화된 전역 의미 경로를 따라 이동하며 조감도 이미지를 지속적으로 제공하여 지상 로봇의 지역 의미 기반 내비게이션과 조작을 안내합니다. 실제 큐브 또는 물체 배열 작업에 대한 실험을 통해 동적 환경에서 프레임워크의 적응성과 강력함을 보여줍니다. 본 연구는 VLM 기반 지각과 LLM 기반 작업 추론 및 동작 계획을 통합한 항공-지상 이기종 시스템의 최초 데모입니다.
시사점, 한계점
•
시사점:
◦
LLM과 VLM을 통합한 새로운 이기종 다 로봇 시스템 제어 프레임워크 제시.
◦
동적 환경에서의 작업 적응성 및 강건성 증명.
◦
항공-지상 로봇 협업을 통한 효율적인 작업 수행 가능성 제시.
◦
VLM 기반 지각과 LLM 기반 추론 및 계획의 통합을 통한 지능형 로봇 시스템 개발 방향 제시.
