기후 변화로 인한 극심한 기상 현상 예측의 중요성이 증가함에 따라, 본 논문은 AI 모델의 예측 정확도와 실행 가능한 통찰력 사이의 격차를 좁히는 데 있어 설명 가능한 AI (XAI)의 역할을 연구한다. 산불 예측을 사례 연구로 사용하여 다양한 AI 모델을 평가하고 SHAP(SHapley Additive exPlanations)를 활용하여 주요 특징, 의사 결정 경로 및 모델 동작의 잠재적 편향을 파악한다. XAI를 통해 모델의 추론을 명확히 하고, 도메인 전문가와 대응 팀의 중요한 의사 결정을 지원한다. 또한 XAI 출력의 해석 가능성을 높이는 시각화를 제공한다.