AfriStereo는 서구적 관점을 주로 반영하는 기존 AI 편향성 평가 벤치마크의 한계를 극복하고자 아프리카 지역의 사회문화적 맥락에 기반한 최초의 오픈 소스 아프리카 고정관념 데이터세트 및 평가 프레임워크입니다. 세네갈, 케냐, 나이지리아에서 커뮤니티 참여를 통해 성별, 민족, 종교, 연령, 직업 등 1,163개의 고정관념을 수집했습니다. 소수 샷 프롬프팅과 사람 중심 검증을 통해 데이터세트를 5,000개 이상의 고정관념-반고정관념 쌍으로 확장했습니다. 의미적 클러스터링과 문화적 지식이 풍부한 리뷰어의 수동 주석을 통해 항목을 검증했습니다. 언어 모델에 대한 예비 평가 결과, 11개 모델 중 9개 모델이 통계적으로 유의미한 편향성을 보였으며, 편향 선호 비율(BPR)은 0.63에서 0.78 사이(p <= 0.05)로 나타났습니다. 이는 특히 연령, 직업, 성별 차원에서 고정관념보다 고정관념을 체계적으로 선호함을 나타냅니다. 도메인별 모델은 설정에서 더 약한 편향성을 보였으며, 이는 작업별 학습이 일부 연관성을 완화할 수 있음을 시사합니다.
