RISED: A Pre-Deployment Evaluation Framework for High-Stakes AI Decision-Support Systems, with Application to Healthcare
Author
- Haebom
Category
Empty
저자
Rohith Reddy Bellibatlu, Manpreet Singh, Yash Jajoo, Shyamal Lakhanpal, Abhishek Israni
💡 개요
본 연구는 의료 분야와 같이 중대한 의사 결정 지원 시스템(AI/ML 기반)의 배포 전 평가를 위한 RISED 프레임워크를 제안합니다. RISED는 기존의 단일 정확도 지표를 넘어 신뢰성, 포용성, 민감도, 형평성, 배포 가능성이라는 다섯 가지 차원을 체계적으로 평가하며, 이를 통해 잠재적인 문제를 조기에 발견하고 의사 결정의 신뢰성을 높이는 것을 목표로 합니다.
🔑 시사점 및 한계
•
AI/ML 시스템의 다차원적이고 심층적인 배포 전 평가의 중요성 강조: 단순히 성능 지표 하나만으로는 놓칠 수 있는 실제 운영 환경에서의 다양한 위험 요소를 체계적으로 평가할 수 있는 방법론을 제시합니다.
•
실제 의료 데이터셋에서의 유효성 입증: 다양한 의료 데이터셋에 RISED를 적용하여 기존 평가 방식으로는 파악하기 어려웠던 신뢰성, 포용성, 민감도 관련 문제점을 명확하게 드러내어 프레임워크의 실효성을 보여줍니다.
•
도메인 불문 적용 가능성 및 개방형 도구 제공: 의료 분야뿐만 아니라 신용 및 소득 예측 등 다른 분야에도 적용 가능함을 확인하였으며, 기존 표준과 상호 보완적인 오픈소스 패키지로 제공됩니다.
