본 논문은 언어 모델(LM)의 편향에 대한 기존 연구가 주로 데이터 품질에 초점을 맞추고 모델 아키텍처와 데이터의 시간적 영향에는 상대적으로 적은 관심을 기울였다는 점을 지적하며, 편향의 기원을 체계적으로 조사한 연구 또한 부족함을 강조합니다. 비교 행동 이론에 기반한 방법론을 제시하여 언어 모델링 과정에서 데이터와 모델 아키텍처 간의 복잡한 상호작용이 편향 전파에 미치는 영향을 해석합니다. 트랜스포머를 n-gram LM과 관련짓는 최근 연구를 바탕으로 데이터, 모델 설계 선택 및 시간적 역학이 편향 전파에 미치는 영향을 평가합니다. 그 결과, (1) n-gram LM은 편향 전파에서 컨텍스트 창 크기에 매우 민감한 반면, 트랜스포머는 아키텍처적 강건성을 보이며, (2) 훈련 데이터의 시간적 기원이 편향에 상당한 영향을 미치고, (3) 서로 다른 모델 아키텍처가 조절된 편향 주입에 다르게 반응하며, 특정 편향(예: 성적 지향)이 불균형적으로 증폭됨을 밝힙니다. 결론적으로, 언어 모델의 널리 퍼짐에 따라, 편향을 완화하기 위해서는 데이터와 모델 차원 모두에서 편향의 기원을 추적하는 전반적인 접근 방식이 필요함을 강조합니다.
