Component-Aware Structure-Preserving Style Transfer for Satellite Visual Sim2Real Data Construction

작성자

Haebom

카테고리

Empty

저자

Zongwu Xie, Yonglong Zhang, Yifan Yang, Yang Liu, Baoshi Cao

💡 개요

본 논문은 위성 영상의 시뮬레이션 데이터를 실제 환경과 유사하게 만드는 Sim2Real 데이터 구축 문제를 해결하기 위해, 구성 요소별 스타일을 고려하고 구조를 보존하는 신경망 스타일 변환 프레임워크를 제안합니다. 제안된 방법은 실제 센서 이미지를 이용해 구성 요소별 스타일 정보를 추출하고, 이를 합성 이미지의 해당 영역에 적용하여 실제와 유사한 외형을 가지면서도 정확한 어노테이션을 유지하는 데이터를 생성합니다. 이를 통해 다운스트림 작업에서 실제 센서 데이터의 지도 학습에 사용할 수 있는 고품질의 Sim2Real 데이터를 구축할 수 있습니다.

🔑 시사점 및 한계

•

실제 데이터 희소성 문제 해결: 실제 위성 센서 이미지와 정확한 포즈 및 구성 요소 마스크를 대규모로 얻기 어려운 문제를, 합성 데이터와 실제 데이터를 결합하고 스타일 변환 기법을 적용하여 해결합니다.

•

정확한 구성 요소 기반 스타일 이식: 구성 요소별 스타일 코드를 추출하고 마스크 정렬 변조를 통해 합성 이미지에 주입함으로써, 각 부분의 실제와 같은 외형을 효과적으로 복원합니다.

•

다운스트림 작업 성능 향상: 제안된 방법으로 생성된 데이터로 훈련된 다운스트림 모델(GDRNet)이 기존 방법론 대비 더 높은 포즈 추정 성능을 보여, Sim2Real 데이터의 실용성을 입증합니다.

•

캘리브레이션된 환경 의존성: 제안된 방법론은 캘리브레이션된 실제 획득 환경과 ArUco 기반 카메라 포즈 측정을 가정하고 있어, 이러한 제약 조건이 없는 일반적인 실제 환경에 바로 적용하기에는 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage