Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models
Created by
- Haebom
Category
Empty
저자
Jorge Paz-Ruza, Amparo Alonso-Betanzos, Bertha Guijarro-Berdinas, Brais Cancela, Carlos Eiras-Franco
개요
본 논문은 엔티티 쌍에 대한 실수값 예측을 출력하는 이원 회귀 모델이 다양한 분야(예: 추천 시스템에서 사용자-제품 평점 얻기)에서 기본적이며 다른 분야(예: 정밀 약리학에서 환자-약물 용량 조정)에서 유망하지만 아직 탐구되지 않은 부분임을 다룹니다. 논문에서는 개별 엔티티의 비균일 관측값 분포가 최첨단 모델에 심각한 편향을 유발하여 예측을 엔티티의 관측된 과거 값의 평균으로 치우치게 하고, 편심적이지만 중요한 경우 무작위 예측보다 더 나쁜 예측력을 제공한다는 것을 증명합니다. 이 현상을 편심 편향(eccentricity bias)이라고 명명합니다. 또한 RMSE와 같은 전역 오류 측정 지표가 이러한 편향을 포착하기에 불충분하며, 모든 연구된 도메인과 모델에서 이를 정량화할 수 있는 새로운 측정 지표인 EAUC(Eccentricity-Area Under the Curve)를 소개합니다. 나이브 사후 훈련 편향 수정을 통해 EAUC의 직관적인 해석을 증명하고, 공정한 모델 구성을 안내하기 위해 EAUC를 사용하는 다른 옵션을 이론화합니다. 본 연구는 이러한 시스템의 중요한 실제 응용에서 불공정성을 방지하기 위해 이원 회귀의 편향 인식 평가에 기여합니다.
시사점, 한계점
•
시사점:
◦
이원 회귀 모델에서 존재하는 "편심 편향" 현상을 규명하고 그 심각성을 밝힘.
◦
기존의 RMSE와 같은 전역 오류 측정 지표의 한계를 지적하고, 새로운 평가 지표인 EAUC를 제시함.
◦
EAUC를 활용하여 공정한 이원 회귀 모델을 개발하는 방향을 제시함.
◦
다양한 실제 응용 분야(추천 시스템, 정밀 약리학 등)에서 불공정성 문제 해결에 기여할 수 있는 가능성 제시.
•
한계점:
◦
제시된 EAUC를 활용한 공정한 모델 개발 방법론에 대한 구체적인 연구가 부족함.
◦
다양한 유형의 이원 회귀 모델과 데이터셋에 대한 EAUC의 일반화 성능에 대한 추가 연구 필요.
◦
편심 편향을 완전히 해결할 수 있는 방법론 제시보다는, 문제 인식 및 평가 지표 제시에 집중.
