대규모 언어 모델(LLM)의 응답에서 발생하는 내재된 편향성을 해결하기 위해 FiSCo(Fine-grained Semantic Comparison)라는 새로운 통계적 프레임워크를 제안합니다. FiSCo는 장문 응답의 미묘한 의미 차이를 감지하여 LLM의 그룹 수준 공정성을 평가합니다. 기존 연구와 달리, FiSCo는 토큰 수준 분석을 넘어, 의미론적 주장을 기반으로 하고, 함의 검사를 활용하여 응답 간의 의미 일관성을 평가합니다. FiSCo는 모델 출력을 의미론적으로 구별되는 주장으로 분해하고 통계적 가설 검정을 적용하여 그룹 내 및 그룹 간 유사성을 비교함으로써 미묘한 편향성을 탐지합니다. 새로운 그룹 반사실 공정성 정의를 제시하고 성별, 인종, 연령을 포괄하는 합성 및 인간 주석 데이터 세트에서 FiSCo를 검증했습니다. 실험 결과, FiSCo는 다양한 평가 지표보다 더 신뢰성 있게 미묘한 편향성을 식별하고, LLM의 확률적 변동성의 영향을 줄였습니다.
