본 논문은 기계학습 모델에 대한 신뢰도를 높이기 위해 사용되는 설명 가능성(explainability) 방법들이, 상반된 이해관계를 가진 당사자들이 개입하는 적대적 환경에서는 조작될 가능성이 높아 제대로 작동하지 않는다는 문제점을 지적한다. 이에 본 연구는 암호화 기술인 영지식 증명(Zero-Knowledge Proofs, ZKPs)을 활용하여 적대적 환경에서도 작동 가능한 설명 가능성 방법을 제시한다. 특히, 널리 사용되는 설명 가능성 알고리즘인 LIME을 ZKP에 적용 가능하도록 변형하고, 신경망과 랜덤 포레스트 모델에 대한 성능을 평가한다. 소스 코드는 공개적으로 제공된다.