본 논문은 대규모 언어 모델(LLM)이 생성하는 콘텐츠에서 나타나는 사회적 편향, 특히 언어적 행위자성(agency)에 대한 편향을 평가하기 위한 새로운 벤치마크인 LABE(Language Agency Bias Evaluation)를 제시합니다. LABE는 성별, 인종, 그리고 교차적(intersectionality) 측면에서의 언어적 행위자성 편향을 평가하며, ChatGPT, Llama3, Mistral 세 가지 LLM을 대상으로 전기, 교수 평가, 추천서 작성 세 가지 작업에서 편향을 분석합니다. 분석 결과, LLM은 인간이 작성한 텍스트보다 성별 편향이 더 크게 나타나며, 특히 교차적 편향이 다른 유형의 편향보다 훨씬 높게 나타나는 것을 확인했습니다. 또한, 프롬프트 기반 완화 기법은 불안정하며 오히려 편향을 악화시키는 경우가 많다는 것을 발견하고, 선택적 수정을 통한 완화 기법(MSR)을 제시하여 프롬프트 기반 방법보다 효과적이고 안정적인 편향 완화가 가능함을 보였습니다.
