신뢰할 수 있는 인공지능 개발을 위해 모델 내부 계산에 대한 이해가 필요하며, 이를 위해 Mechanistic Interpretability (MI)가 모델 동작의 알고리즘 메커니즘을 파악하고자 한다. 본 논문은 회로 발견과 같은 해석 가능성 방법이 통계적 추정치로 간주되어 분산 및 견고성 문제를 겪는다는 것을 주장한다. EAP-IG라는 최첨단 회로 발견 방법론의 체계적인 안정성 분석을 통해 입력 재샘플링, 프롬프트 재구성, 하이퍼파라미터 변동, 인과 분석 내 노이즈 주입 등 다양한 제어된 섭동을 평가한다. 다양한 모델과 작업에서 EAP-IG가 높은 구조적 분산성과 하이퍼파라미터에 대한 민감성을 보여, 결과의 안정성에 의문을 제기한다. 이를 바탕으로 해석 가능성 연구의 과학적 엄격성을 높이기 위해 안정성 메트릭의 정기적인 보고를 권장한다.
