본 논문은 설명 가능한 AI(XAI)에 대한 새로운 이론적 접근 방식을 제안합니다. 과학적 방법론을 따르는 이 접근 방식은 경험적 증거를 바탕으로 신경망의 행동을 설명하고 예측하는 수학적 모델을 공식화하는 것을 포함합니다. 제어된 환경에서 생성된 사례 연구인 Prime Convolutional Model(p-Conv)에 이 방법을 적용합니다. p-Conv는 처음 백만 개의 자연수로 구성된 데이터셋에서 작동하며, 주어진 정수 $m$을 기준으로 합동 클래스를 식별하도록 훈련됩니다. p-Conv의 아키텍처는 $B$개의 연속된 숫자 시퀀스를 각 입력에 상황적으로 처리하는 합성곱형 신경망을 사용합니다. 다양한 $m$과 $B$ 값을 사용하여 검증 세트의 숫자 합동 클래스를 식별하기 위해 p-Conv를 활용하는 경험적 접근 방식을 취합니다. 결과는 p-Conv의 다양한 행동(즉, 작업을 수행할 수 있는지 여부)을 $m$과 $B$의 관점에서 수학적으로 모델링할 수 있음을 보여줍니다. 추론된 수학적 모델은 p-Conv가 작업 수행에 성공하는 시점과 이유, 그리고 성공하지 못할 경우 따르는 오류 패턴을 설명할 수 있는 흥미로운 패턴을 보여줍니다.