Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

An Epistemic and Aleatoric Decomposition of Arbitrariness to Constrain the Set of Good Models

Created by
  • Haebom

저자

Falaah Arif Khan, Denys Herasymuk, Nazar Protsiv, Julia Stoyanovich

개요

본 논문은 기계 학습(ML) 모델의 훈련 과정에 대한 작은 변화(예: 단일 데이터 포인트 포함 또는 제외)에도 예측 결과가 크게 달라지는 임의성 또는 불안정성 문제를 다룹니다. 불확실성 이론을 바탕으로, 이러한 불안정성을 인식적(epistemic) 및 우연적(aleatoric) 불안정성으로 분해하여 각각 예측의 일관성과 신뢰도를 포착합니다. 광범위한 실험적 평가를 통해, (i) 인식적 불안정성은 더 많은 훈련 데이터로 감소될 수 있지만 우연적 불안정성은 그렇지 않다는 점, (ii) 최첨단 ML 모델은 최대 79%의 우연적 불안정성을 가지며, 인구 통계적 그룹 간 우연적 불안정성 차이는 최대 29%에 달한다는 점, (iii) 공정성 전처리 개입은 일반적으로 후처리 개입보다 우연적 불안정성을 더 증가시키며, 인식적 및 우연적 불안정성 모두 데이터 처리 개입 및 모델 아키텍처에 매우 민감하다는 점을 밝힙니다. 또한, 인식적 및 우연적 기준을 기존의 정확도 및 공정성 기준과 함께 포함하는 모델 선택 절차를 제안하여 안정적이고 공정하며 정확한 소수의 모델을 성공적으로 선택합니다. 마지막으로, ML 파이프라인에서 인식적 및 우연적 다중성을 측정하는 Python 라이브러리를 공개하여 실무자에게 풍부한 평가 지표를 제공합니다.

시사점, 한계점

•
시사점:
◦
ML 모델의 불안정성을 인식적 및 우연적 불안정성으로 분해하여 분석함으로써, 불안정성의 원인과 특성을 더욱 정확하게 이해할 수 있게 되었습니다.
◦
우연적 불안정성의 높은 수준과 인구 통계적 그룹 간 불안정성 차이를 밝힘으로써, ML 모델의 공정성 문제에 대한 새로운 시각을 제공합니다.
◦
제안된 모델 선택 절차는 안정적이고 공정하며 정확한 모델을 선택하는 데 효과적임을 보여줍니다.
◦
공개된 Python 라이브러리는 ML 모델 평가에 대한 실무자의 접근성을 향상시킵니다.
•
한계점:
◦
제안된 모델 선택 절차의 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
다양한 ML 모델과 데이터셋에 대한 추가적인 실험이 필요합니다.
◦
우연적 불안정성을 줄이기 위한 효과적인 방법에 대한 추가적인 연구가 필요합니다.
👍
Made with Slashpage