본 논문은 심층 학습 모델을 기반으로 개발된 자동 얼굴 인식 시스템(FRS)의 성능 불균형 문제를 다룹니다. 모델 아키텍처, 손실 함수, 얼굴 이미지 데이터셋의 세 가지 요소가 정확도와 불균형 간의 상호작용에 미치는 영향을 심층적으로 분석합니다. 성별 예측 작업을 위해 세 가지 FRS와 다양한 아키텍처 수정을 통해 생성된 10개의 심층 학습 모델, 4가지 손실 함수를 사용하여 7개의 얼굴 데이터셋에 대한 266가지 평가 구성을 벤치마킹합니다. 분석 결과, 세 가지 요소 모두 정확도와 불균형에 개별적 및 통합적으로 영향을 미치는 것으로 나타났습니다. 특히 데이터셋은 모델과 손실 함수의 선택과 무관하게 유사한 성능을 보이는 고유한 특성을 가지고 있으며, 데이터셋의 선택에 따라 모델의 편향이 달라질 수 있음을 보여줍니다. 모델은 데이터셋의 다양성으로 인해 "여성 얼굴"과 "남성 얼굴"을 구분하는 일관된 정의를 일반화하지 못하는 것으로 나타났습니다. 본 연구는 모델 개발자들에게 모델 개발 및 배포를 위한 청사진을 제공합니다.