본 논문은 확산 모델 기반의 새로운 이미지 색상화 방법인 MT-Color를 제안합니다. MT-Color는 사용자 제공 가이드를 활용하여 정확한 인스턴스 수준의 색상화를 달성합니다. 기존 방법의 색 번짐 및 색 결합 오류 문제를 해결하기 위해, 픽셀 수준 마스크 어텐션 메커니즘과 인스턴스 마스크 및 텍스트 가이드 모듈을 설계했습니다. 픽셀 수준 마스크 어텐션은 크로스 어텐션을 통해 잠재 특징과 조건부 회색 이미지 특징을 통합하여 색 번짐을 방지하고, 인스턴스 마스크 및 텍스트 가이드 모듈은 자기 어텐션을 통해 인스턴스 마스크와 텍스트 표현을 잠재 특징과 융합하여 색 결합 오류를 완화합니다. 또한, 다중 인스턴스 샘플링 전략을 적용하여 각 인스턴스 영역을 개별적으로 샘플링하고 결과를 융합합니다. 마지막으로, 기존 이미지 데이터셋에 대규모 시각 언어 모델을 활용하여 인스턴스 수준 색상화 작업을 위한 전문 데이터셋 GPT-color를 생성했습니다. 실험 결과, 제안된 모델과 데이터셋이 기존 방법과 데이터셋보다 우수한 성능을 보임을 보여줍니다.
