본 논문은 대규모 언어 모델(LLM)의 사후 처리 편향 완화 방법으로 어텐션 헤드 가지치기를 탐구합니다. LLM은 사회적 편견을 내포할 수 있으며, 본 논문은 훈련 데이터나 알고리즘 수정 없이 사전 훈련된 LLM에서 특정 어텐션 헤드를 비활성화하는 접근 방식을 제시합니다. 계산적 문제를 해결하기 위해, 본 논문은 어텐션 헤드 상태와 공정성/유용성 지표 간의 관계를 모델링하는 대리 심층 신경망을 개발하고, 이를 기반으로 시뮬레이티드 어닐링을 통해 최적의 어텐션 헤드 부분을 검색합니다. Attention Pruning이라고 명명된 이 방법은 편향에 과도하게 기여하는 어텐션 헤드를 제거하여 모델의 전반적인 유용성에 미치는 영향을 최소화하면서 성별 편향을 최대 40%까지 줄입니다.
