Sign In

Kontinuous Kontext: Continuous Strength Control for Instruction-based Image Editing

Author
  • Haebom
Category
Empty

저자

Rishubh Parihar, Or Patashnik, Daniil Ostashev, R. Venkatesh Babu, Daniel Cohen-Or, Kuan-Chieh Wang

💡 개요

본 논문은 텍스트 지침 기반 이미지 편집에서 편집 강도를 미세하게 제어하는 새로운 방법을 제안합니다. 'Kontinuous Kontext'는 편집 강도를 스칼라 값으로 입력받아 편집 정도를 사용자가 부드럽고 연속적으로 조절할 수 있게 하는 모델입니다. 이를 위해 텍스트 지침과 편집 강도를 모델의 변조 공간 계수로 매핑하는 경량 투영기 네트워크를 학습시키며, 합성된 데이터셋을 활용하여 다양한 편집 작업에 대해 속성별 학습 없이 통합적으로 미세한 편집 강도 제어를 가능하게 합니다.

🔑 시사점 및 한계

사용자는 텍스트 지침에 더해 편집 강도 조절 슬라이더 등을 통해 직관적으로 편집의 정도를 미세하게 제어할 수 있습니다.
스타일 변환, 속성 변경, 배경 교체 등 다양한 편집 작업에 대해 별도의 속성별 학습 없이도 일관된 편집 강도 제어가 가능합니다.
합성 데이터셋의 품질과 다양성이 모델 성능에 중요한 영향을 미칠 수 있으며, 실제 사용자 피드백을 통한 지속적인 개선이 필요합니다.
👍