본 논문은 연합 학습(Federated Learning, FL) 환경에서 의사결정 과정의 설명 가능성과 신뢰성 평가의 어려움을 해결하기 위해, 불확실성을 고려한 설명 가능한 연합 학습(Uncertainty-aware eXplainable Federated Learning, UncertainXFL) 프레임워크를 제안합니다. UncertainXFL은 FL 설정 하에서 의사결정 과정에 대한 설명을 생성하고, 해당 설명의 불확실성 정보를 제공하는 최초의 프레임워크입니다. FL 클라이언트에서 생성된 설명 정보는 서버에서 통합 및 충돌 해결 과정을 거쳐 FL 학습 과정에 활용됩니다. 설명의 품질(불확실성 점수 및 검증된 유효성 포함)은 신뢰할 수 있는 설명을 제공하는 클라이언트에 더 높은 가중치를 부여하여 FL 학습 과정을 안내합니다. 실험 결과, UncertainXFL은 기존 최첨단 모델보다 모델 정확도를 2.71%, 설명 정확도를 1.77% 향상시켰습니다. 데이터의 불확실성을 통합 및 정량화하여 설명 과정에 활용함으로써, 설명과 그 불확실성을 명확히 제시하고, 이를 통해 FL 학습 과정을 안내하여 최종 모델의 강건성과 신뢰성을 향상시킵니다.