본 논문은 얼굴 감정 분석(FAA) 시스템의 민감한 속성인 조상(피부색으로 근사)에 따른 성능 차이를 평가하기 위해 두 가지 객관적인 피부색 분류 방법(ITA와 $L^*$-$H^*$ 기반 방법)을 비교 분석했습니다. AffectNet 데이터셋과 MobileNet 기반 모델을 사용하여 각 방법에 따른 피부색 그룹 간의 공정성을 평가한 결과, 어두운 피부색의 심각한 과소표현(~2%)과 F1-score(최대 0.08), TPR(최대 0.11)의 불공정성이 발견되었습니다. ITA는 조명에 민감한 반면, $L^*$-$H^*$ 방법은 더 일관된 하위 그룹화를 제공하고 Equal Opportunity와 같은 지표를 통한 명확한 진단을 가능하게 합니다. Grad-CAM 분석을 통해 피부색에 따른 모델 주의 패턴의 차이를 확인하여 특징 인코딩의 변화를 시사했습니다. 마지막으로, 지각적 피부색 추정, 모델 해석성 및 공정성 평가를 통합하는 모듈식 공정성 인식 파이프라인을 제안했습니다.
