본 논문은 시각 정보만으로는 파악할 수 없는 물체의 물리적 속성을 이해하는 데 필수적인 촉각 인지를 다룹니다. 기존 접근 방식은 시각 및 언어 모드에서 물리적 이해에 진전을 이루었지만, 실제 상호 작용에 중요한 촉각 피드백을 제공하는 촉각 정보를 효과적으로 통합하지 못했습니다. 이 논문에서는 촉각 인지와 자연어 간의 간극을 메우는 범용 시각-촉각 비디오(VTV) 이해를 위한 최초의 다중 모드 대규모 언어 모델인 VTV-LLM을 제시합니다. 세 가지 다른 촉각 센서(GelSight Mini, DIGIT, Tac3D)를 통해 캡처된 100개의 다양한 물체에서 나온 150,000개의 비디오 프레임으로 구성된 포괄적인 데이터셋 VTV150K를 기여하여 센서 간 및 모드 간 통합의 과제를 해결합니다. 이 데이터셋은 네 가지 기본적인 촉각 속성(경도, 돌출, 탄성, 마찰)으로 주석이 달려 있습니다. 강력한 시각-촉각 표현을 위한 VTV 향상, 모드 간 대응을 위한 VTV-텍스트 정렬, 자연어 생성을 위한 텍스트 프롬프트 미세 조정을 포함하는 3단계 교육 패러다임을 개발했습니다. 본 프레임워크는 특징 평가, 비교 분석, 시나리오 기반 의사 결정 등 정교한 촉각 추론 기능을 가능하게 합니다. 실험 평가는 VTV-LLM이 촉각 비디오 이해 작업에서 우수한 성능을 달성하여 촉각 영역에서 더 직관적인 인간-기계 상호 작용의 기반을 마련함을 보여줍니다.
