본 논문은 로봇 조작에 효과적으로 적용하기 위해 시간적 상관 관계가 있는 행동 의미를 모델링하지 못하는 기존의 오픈소스 시각 언어 모델(VLMs)의 한계를 극복하고자, 시간적 탈결합 미세 조정 전략을 기반으로 하는 RoboAct-CLIP을 제시합니다. RoboAct-CLIP은 1) 의미 제약 행동 단위 분할 및 오픈소스 로봇 비디오에 대한 재주석을 수행하는 데이터셋 재구성 프레임워크를 통해 단일 원자 행동(예: "잡기")을 포함하는 정제된 훈련 세트를 구성하고, 2) CLIP 아키텍처를 기반으로 비디오 프레임 간의 시간적 행동 특징을 객체 중심적 특징으로부터 분리하여 로봇 원자 행동의 계층적 표현 학습을 달성합니다. 시뮬레이션 환경에서의 실험 결과는 RoboAct-CLIP 사전 훈련 모델이 기준 VLMs보다 12% 높은 성공률을 달성하고 다중 객체 조작 작업에서 우수한 일반화 성능을 보임을 보여줍니다.
