본 논문은 언어 모델(LM)의 편향에 대한 기존 연구가 주로 데이터 품질에 초점을 맞추고 모델 아키텍처와 데이터의 시간적 영향에는 상대적으로 적은 관심을 기울였다는 점을 지적합니다. 더욱 중요한 것은 편향의 기원을 체계적으로 조사한 연구가 거의 없다는 점입니다. 본 연구는 비교 행동 이론에 기반한 방법론을 제안하여 언어 모델링 중 편향 전파에서 훈련 데이터와 모델 아키텍처 간의 복잡한 상호 작용을 해석합니다. 트랜스포머를 n-gram LM과 관련짓는 최근 연구를 바탕으로 데이터, 모델 설계 선택 및 시간 역학이 편향 전파에 미치는 영향을 평가합니다. 그 결과, (1) n-gram LM은 편향 전파에서 컨텍스트 창 크기에 매우 민감한 반면, 트랜스포머는 아키텍처적 강건성을 보여주며, (2) 훈련 데이터의 시간적 기원이 편향에 상당한 영향을 미치고, (3) 서로 다른 모델 아키텍처가 제어된 편향 주입에 다르게 반응하며, 특정 편향(예: 성적 지향)이 불균형적으로 증폭됨을 밝힙니다. 언어 모델이 널리 사용됨에 따라 본 연구 결과는 편향을 완화하기 위해 증상이 아닌 데이터 및 모델 차원 모두에서 기원까지 추적하는 전체론적 접근 방식의 필요성을 강조합니다.
