본 연구는 22개의 주요 대규모 언어 모델(LLM)을 사용하여 이력서 또는 경력(CV)을 기반으로 전문가 후보자를 평가할 때 LLM의 행동을 조사합니다. 각 모델에는 직무 설명과 성별이 다른 두 개의 전문가 일치 CV(한 개는 남성 이름, 다른 하나는 여성 이름)가 주어졌으며, 더 적합한 후보를 선택하도록 요청받았습니다. 관찰된 후보 선택의 선호도가 성별 이름 단서에서 비롯되었는지 확인하기 위해 각 CV 쌍은 이름을 바꿔 두 번 제시되었습니다. 성별에 따른 전문 자격이 동일함에도 불구하고 모든 LLM은 70개의 다른 직업에서 여성 이름의 후보를 지속적으로 선호했습니다. CV에 명시적인 성별 필드(남성/여성)를 추가하면 여성 지원자에 대한 선호도가 더욱 높아졌습니다. 성별 이름이 성별 중립적 식별자 "Candidate A"와 "Candidate B"로 바뀌었을 때, 여러 모델은 "Candidate A"를 선택하는 것을 선호했습니다. 이러한 성별 중립적 식별자 간의 성별 할당을 상쇄하면 후보 선택에서 성별 동등성이 나타났습니다. 쌍을 비교하는 대신 CV를 개별적으로 평가하도록 요청받았을 때, LLM은 전반적으로 여성 CV에 약간 더 높은 평균 점수를 부여했지만 효과 크기는 무시할 만했습니다. 후보 이름 옆에 선호하는 대명사(he/him 또는 she/her)를 포함하면 성별에 관계없이 후보가 선택될 가능성이 약간 증가했습니다. 마지막으로, 대부분의 모델은 프롬프트에 먼저 나열된 후보를 선택하는 상당한 위치 편향을 보였습니다.
