본 논문은 GPT-2와 Llama2와 같은 대규모 언어 모델(LLM)의 사회적, 인구통계적, 성별 편향이 모델 내부 구조적으로 어떻게 표현되는지 기계적 해석 가능성 접근 방식을 통해 분석합니다. 인구통계적 및 성별 편향에 초점을 맞춰, 편향된 행동을 유발하는 내부 요소를 식별하기 위한 다양한 지표를 탐구하고, 데이터셋 및 언어적 변화에 따른 이러한 요소의 안정성, 국소성 및 일반화 가능성을 평가합니다. 체계적인 제거 실험을 통해 편향 관련 계산은 특정 층의 작은 하위 집합에 집중되어 매우 국소적임을 보여줍니다. 또한, 식별된 요소는 편향과 무관한 미세 조정 설정에서도 변화하며, 이러한 요소를 제거하면 편향된 출력이 감소할 뿐만 아니라, 중요한 요소 공유로 인해 개체명 인식 및 언어적 수용성 판단과 같은 다른 NLP 작업에도 영향을 미침을 보여줍니다.
