Equipping Sketch Patches with Context-Aware Positional Encoding for Graphic Sketch Representation
Created by
Haebom
저자
Sicong Zang, Zhijun Fang
개요
본 논문은 스케치 학습에 그리기 순서를 효과적으로 활용하기 위해 맥락 인식 위치 인코딩(PE)을 스케치 패치에 적용하는 방법을 제안합니다. 기존 연구에서 그리기 순서에 따른 시간 기반 최근접 이웃 전략으로 스케치 패치를 그래프 에지로 연결하는 방식은 스케치 변형으로 인해 신뢰할 수 없는 그래프 에지를 생성할 수 있다는 문제점을 지적합니다. 본 논문에서는 사인파 절대 PE를 사용하여 그리기 순서의 순차적 위치를 임베딩하고, 학습 가능한 상대 PE를 사용하여 패치 간의 보이지 않는 맥락 관계를 인코딩합니다. 두 유형의 PE는 그래프 에지 생성에는 관여하지 않고 그래프 노드에 주입되어 패치에서 캡처된 시각적 패턴과 협력합니다. 의미적 근접성으로 노드를 연결한 후, 그래프 합성곱 네트워크를 통한 메시지 집계 중에 각 노드는 패치의 의미적 특징과 이웃으로부터 PE의 맥락 정보를 모두 수신하여, 지역 패치 패턴에 전역 맥락 정보를 제공하고 그리기 순서가 향상된 스케치 표현을 얻습니다. 실험 결과, 제안된 방법이 스케치 복원 및 제어 가능한 스케치 합성을 상당히 향상시킨다는 것을 보여줍니다. 소스 코드는 https://github.com/SCZang/DC-gra2seq 에서 확인할 수 있습니다.