본 논문은 공정한 기계 학습에서 '편향 입력, 편향 출력' 문제를 해결하기 위해 대규모 언어 모델(LLM)의 데이터 또는 내부 표현의 특징 분포를 그룹 간 공정한 결과를 보장하는 이상적인 분포로 조정하는 방법을 제시합니다. 이상적인 분포는 어떤 비용 민감적 위험에 대한 최소화자가 정확한 그룹 공정 결과(예: 인구 통계적 동등성, 동등한 기회)를 갖도록 정의됩니다. 즉, 공정성-유용성 간의 트레이드오프가 없습니다. KL-divergence에서 가장 가까운 이상적인 분포를 찾는 최적 조정 프로그램을 공식화하고, 기저 분포가 잘 알려진 매개변수적 집단(예: 정규 분포, 로그 정규 분포)에서 나올 때 효율적인 알고리즘을 제공합니다. 합성 및 실제 데이터 세트에서 최적 조정 기법을 실험적으로 검증하여 유용성을 저하시키지 않고(때로는 유용성을 향상시키기도 함) 공정성을 향상시켰음을 보여줍니다. LLM 표현의 어파인 조정을 통해 다중 클래스 분류(예: Bios 데이터 세트에서 짧은 약력을 통한 직업 예측)의 편향을 줄이고, LLM의 내부 표현을 원하는 출력으로 조정하여 다양한 그룹에서 동일하게 작동하도록 합니다.
