본 논문은 기존의 비디오 컬러화 방법이 겪는 템포럴 플리커링 문제와 광범위한 수동 입력을 필요로 하는 어려움을 해결하기 위해, 언어 및 분할 정보를 기반으로 하는 풍부한 의미론적 지침을 사용하여 고품질의 비디오 컬러화를 자동화하는 새로운 접근 방식을 제안한다. 언어 기반 확산 모델을 사용하여 흑백 프레임을 컬러화하며, 자동으로 생성된 객체 마스크와 텍스트 프롬프트를 통해 지침을 제공한다. 특히, 구체적인 색상 입력을 사용하지 않고 일반적인 프롬프트를 사용하여 최첨단 결과를 달성한다. 시간적 안정성은 광학 흐름(RAFT)을 사용하여 이전 프레임의 색상 정보를 워핑함으로써 달성되며, 수정 단계를 통해 워핑으로 인해 발생하는 불일치를 감지하고 수정한다. DAVIS30 및 VIDEVO20과 같은 표준 벤치마크 평가 결과, 제안된 방법은 컬러화 정확도(PSNR)와 시각적 현실감(Colorfulness, CDC)에서 최첨단 성능을 달성하여, 자동 프롬프트 기반 지침의 효과를 입증한다.
