온라인 비디오 내 혐오 발언은 디지털 플랫폼에 심각한 위협이 되고 있으며, 특히 비디오 콘텐츠가 다중 모달화되고 맥락 의존성이 높아짐에 따라 문제가 더욱 심화되고 있다. 기존 방법들은 모달리티 간 복잡한 의미 관계를 효과적으로 융합하는 데 어려움을 겪고, 미묘한 혐오 콘텐츠를 이해하는 능력도 부족하다. 이를 해결하기 위해, 본 논문은 Reasoning-Aware Multimodal Fusion (RAMF) 프레임워크를 제안한다. RAMF는 Local-Global Context Fusion (LGCF)을 통해 지역적 단서와 전반적인 시간 구조를 모두 포착하고, Semantic Cross Attention (SCA)을 사용하여 세밀한 다중 모달 의미 상호 작용을 가능하게 한다. 또한, 비전-언어 모델이 (i) 객관적 설명, (ii) 혐오 추정 추론, (iii) 비혐오 추정 추론을 생성하는 3단계 적대적 추론을 도입하여, 모델의 맥락적 이해를 풍부하게 한다. 실제 혐오 비디오 데이터셋에 대한 평가 결과, 제안된 방법이 기존 최고 성능 모델보다 Macro-F1에서 3%, 혐오 클래스 재현율에서 7% 향상된 견고한 일반화 성능을 보였다.