본 논문은 그림자 제거를 위한 새로운 접근 방식을 제안합니다. 기존의 방법들이 그림자 마스크에 의존하는 어려움을 해결하기 위해, 본 논문은 그림자 마스크 없이 국부적인 대비 정보를 활용하여 그림자 제거를 시도합니다. 특히, 복잡한 장면에서 발생하는 대비 정보의 모호성을 해결하기 위해 적응형 게이트 이중 분기 어텐션 (AGBA) 메커니즘을 제안하여 그림자 특징과 다른 시각적 요소를 효과적으로 분리합니다. 또한, 부드러운 그림자 경계와 미세한 디테일을 복원하기 위해 확산 기반 주파수-대비 융합 네트워크 (FCFN)를 도입하여 고주파수 및 대비 정보를 활용합니다. 실험 결과는 제안된 방법이 마스크 없는 방식 중 최고 성능을 달성했으며, 마스크 기반 방법과 비교해도 경쟁력 있는 결과를 보임을 보여줍니다.