Is Your Model Fairly Certain? Uncertainty-Aware Fairness Evaluation for LLMs
Created by
Haebom
저자
Yinong Oliver Wang, Nivedha Sivakumar, Falaah Arif Khan, Rin Metcalf Susa, Adam Golinski, Natalie Mackraz, Barry-John Theobald, Luca Zappella, Nicholas Apostoloff
개요
본 논문은 대규모 언어 모델(LLM)의 공정성 평가를 위해 불확실성을 고려한 새로운 지표 UCerF를 제안합니다. 기존의 정확도 기반 공정성 지표는 모델의 불확실성을 고려하지 못하는 한계가 있으므로, UCerF는 모델의 내부적인 편향을 더 잘 반영하여 보다 세밀한 공정성 평가를 가능하게 합니다. 또한, 기존 데이터셋의 크기, 다양성, 명확성 문제를 해결하기 위해 31,756개의 샘플을 포함하는 새로운 성별-직업 공정성 평가 데이터셋을 소개합니다. 이를 통해 10개의 오픈소스 LLM을 평가하는 벤치마크를 구축하여, 예를 들어 Mistral-7B 모델의 경우 UCerF를 통해 Equalized Odds 지표로는 잡아내지 못했던 잘못된 예측에 대한 높은 확신으로 인한 공정성 저하 문제를 발견하였습니다. 본 연구는 불확실성을 고려한 공정성 평가를 통해 더 투명하고 책임감 있는 AI 시스템 개발의 길을 제시합니다.
시사점, 한계점
•
시사점:
◦
기존 정확도 기반 공정성 지표의 한계를 극복하는 불확실성 인식 공정성 지표 UCerF 제안
◦
LLM의 공정성 평가를 위한 새로운 성별-직업 데이터셋 제공
◦
오픈소스 LLM들의 공정성 문제를 벤치마크를 통해 실증적으로 제시
◦
불확실성을 고려한 LLM 공정성 평가 방법론 제시를 통한 더 투명하고 책임감 있는 AI 시스템 개발 가능성 제시
