데이터 기반 AI는 근거 기반 의학의 중심에 자리 잡고 있지만, 연관 기반 학습에 대한 의존으로 인해 단점과 예상치 못한 행동에 대한 보고가 증가하고 있습니다. 이러한 행동의 주요 원인은 머신러닝 데이터셋의 잠재적 편향이 훈련 중에 증폭되거나 테스트 중에 숨겨질 수 있다는 것입니다. 본 논문은 데이터 모달리티에 관계없이 편향의 근원에 대한 표적 가설을 생성하기 위한 감사 프레임워크인 Generalized Attribute Utility and Detectability-Induced bias Testing (G-AUDIT)을 제시합니다. 이 방법은 작업 수준 주석과 보호된 속성(예: 인종, 나이, 성별) 및 환경 및 획득 특성(예: 임상 현장, 이미징 프로토콜)을 포함한 데이터 속성 간의 관계를 조사합니다. G-AUDIT는 관찰된 데이터 속성이 지름길 학습을 가능하게 할 수 있는 정도 또는 테스트 데이터의 경우 허위 연관성을 기반으로 한 예측을 숨길 수 있는 정도를 자동으로 정량화합니다. 본 논문은 이미지의 피부 병변 분류, 전자 건강 기록(EHR)의 낙인 찍는 언어 분류 및 ICU 표 형식 데이터에 대한 사망률 예측이라는 세 가지 고유한 모달리티와 학습 작업에 대한 대규모 의료 데이터셋을 분석하여 방법의 광범위한 적용 가능성과 가치를 보여줍니다. 각 설정에서 G-AUDIT는 주로 사회적 및 윤리적 목표에 중점을 둔 기존의 정성적 방법으로는 일반적으로 간과되는 미묘한 편향을 성공적으로 식별하여 데이터셋 수준의 위험을 노출하고 신뢰할 수 있는 AI 시스템의 다운스트림 개발을 지원하는 실용적인 가치를 강조합니다. 본 논문의 방법은 초기 프로토타이핑부터 규제에 이르기까지 AI 개발 라이프사이클 전반에 걸쳐 머신러닝 데이터셋에 대한 더 깊은 이해를 달성하고 모델 편향을 줄일 수 있는 기회를 창출하여 더 안전하고 신뢰할 수 있는 AI 시스템을 가능하게 합니다.
