RynnEC는 구체적 인지를 위해 설계된 비디오 멀티모달 대형 언어 모델입니다. 일반적인 비전-언어 기반 모델을 기반으로 구축되었으며, 유연한 영역 수준의 비디오 상호 작용을 가능하게 하는 영역 인코더와 마스크 디코더를 통합합니다. 컴팩트한 아키텍처에도 불구하고, RynnEC는 객체 속성 이해, 객체 분할 및 공간 추론에서 최첨단 성능을 달성합니다. 개념적으로, 구체화된 에이전트의 두뇌를 위한 영역 중심 비디오 패러다임을 제공하여, 물리적 세계에 대한 정밀한 인식을 제공하고 보다 정확한 상호 작용을 가능하게 합니다. 주석이 달린 3D 데이터 세트의 부족을 완화하기 위해, 구체적 인지 데이터를 생성하기 위한 자기 중심적 비디오 기반 파이프라인을 제안합니다. 또한, 구체적 인지 능력을 평가하기 위한 영역 중심 벤치마크인 RynnEC-Bench를 소개합니다. RynnEC가 구체화된 에이전트를 위한 범용 인지 코어 개발을 발전시키고, 다양한 구체화된 작업 전반의 일반화를 촉진할 것으로 예상합니다.
