Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Investigating Gender Bias in LLM-Generated Stories via Psychological Stereotypes

Created by
  • Haebom

저자

Shahed Masoudian, Gustavo Escobedo, Hannah Strauss, Markus Schedl

개요

본 논문은 대규모 언어 모델(LLM)의 성별 편향성을 심층적으로 분석합니다. 기존 연구에서 주로 명시적인 성별 단서를 사용하거나 짧은 문장 완성 및 질문 응답 과제에 초점을 맞춘 것과 달리, 본 연구는 심리학적 성별 고정관념(공격성, 수다스러움 등)을 활용하여 개방형 스토리 생성 과제에서 암묵적인 성별 편향성을 조사합니다. 새로운 데이터셋 StereoBias-Stories를 사용하여, 조건이 없는 경우와 25가지 심리학적 고정관념 속성 중 하나, 둘 또는 여섯 개를 조건으로 주어진 경우의 스토리 생성 결과를 분석합니다. 분석 결과, 무조건적인 프롬프트에서는 모델들이 남성 쪽으로 편향되지만, 성별 고정관념과 무관한 속성들을 조건으로 주면 이러한 편향이 완화된다는 것을 발견했습니다. 또한, 같은 성별 고정관념과 관련된 여러 속성들을 결합하면 모델의 행동이 강화되는데, 남성 관련 속성은 편향을 증폭시키고 여성 관련 속성은 완화시키는 효과를 보였습니다. 마지막으로, 모델의 편향은 심리학적 기준과 일치하며, 모델의 크기가 커질수록 일치 정도가 높아지는 것을 확인했습니다.

시사점, 한계점

시사점:
심리학적 고정관념을 기반으로 한 평가 방식을 통해 LLM의 암묵적인 성별 편향성을 효과적으로 측정할 수 있음을 보여줍니다.
LLM의 성별 편향성은 모델의 크기와 관련이 있으며, 더 큰 모델일수록 편향이 심화될 수 있음을 시사합니다.
성별 고정관념과 무관한 속성들을 조건으로 추가함으로써 LLM의 성별 편향성을 완화할 수 있는 가능성을 제시합니다.
LLM의 성별 편향성을 완화하기 위해 심리학적 지식을 활용한 평가 및 개발 방식의 중요성을 강조합니다.
한계점:
StereoBias-Stories 데이터셋의 규모 및 다양성에 대한 추가적인 검토가 필요할 수 있습니다.
분석에 사용된 심리학적 고정관념의 일반화 가능성에 대한 추가적인 연구가 필요합니다.
다양한 LLM 아키텍처 및 훈련 데이터에 대한 일반화 가능성을 추가적으로 검증해야 합니다.
👍