본 논문에서는 우주 잔해물 추적을 위한 심층 학습 기반의 우주 잔해물 추적 네트워크(SDT-Net)를 제안합니다. 기존의 전통적인 신호 처리 기반 방법의 한계를 극복하고 복잡한 배경과 밀집된 우주 잔해물을 효과적으로 처리하기 위해 심층 학습을 활용합니다. SDT-Net은 우주 잔해물의 특징을 효과적으로 표현하여 모델 학습의 효율성과 안정성을 향상시킵니다. 또한, 새로운 관측 기반 데이터 시뮬레이션 기법을 사용하여 대규모 우주 잔해물 추적 데이터셋(SDTD)을 생성하여 모델 학습 및 평가에 활용합니다. SDTD는 총 62,562 프레임의 18,040개 비디오 시퀀스를 포함하며 25만 개의 합성 우주 잔해물을 담고 있습니다. 실험 결과, 제안된 모델의 효과성과 데이터셋의 난이도를 검증하였으며, 남극 기지의 실제 데이터에 대한 테스트에서 70.6%의 MOTA 점수를 달성하여 실제 환경으로의 전이 성능을 입증하였습니다. 데이터셋과 코드는 곧 공개될 예정입니다.