본 논문은 현대 머신러닝 모델의 불투명성으로 인한 신뢰, 감독 및 인간 존엄성에 대한 우려를 다룬다. 설명 가능성 방법이 모델 이해에 도움을 주지만, 개발자가 타겟 사용자에게 이해 가능하고 목적에 효과적인 설명을 설계하는 것은 여전히 어렵다. 본 연구는 124명의 참가자를 대상으로 한 통제된 실험을 통해 당뇨병성 망막증 진단에 사용되는 ML 기반 선별 도구에 대한 설명 설계 과정에서 특정 정책 지침이 개발자에게 어떤 영향을 미치는지 조사했다. 실험 결과, 참가자들은 양질의 설명을 생성하고, 제공된 설명 가능성에 대한 정책 요구 사항을 준수하며, 준수 증거를 제공하는 데 어려움을 겪었다. 이는 특히 비기술적 이해관계자의 요구를 상상하고 예측하는 데 실패했기 때문이라고 주장하며, 인지 과정 이론과 사회적 상상력을 바탕으로 교육적 개입을 권장한다.
