본 논문은 대규모 언어 모델(LLM)의 성별 편향 문제를 해결하기 위해 새로운 데이터 생성 프레임워크를 제안한다. 이 프레임워크는 LLM이 구조적으로 동일하지만 도덕적으로 모호한 시나리오에 남성과 여성 주인공을 배치한 이야기 쌍을 생성하도록 유도하고, 각 이야기에 대한 도덕적 판단을 비교한다. 일관성이 없을 경우, 모델은 균형 잡히고 성별 중립적인 판단을 내리도록 유도한다. 이렇게 생성된 이야기-판단 쌍은 직접 선호도 최적화(DPO)를 통해 모델을 미세 조정하거나 최적화하는 데 사용된다. 실험 결과, 제안된 방법은 성별 편향을 크게 줄이는 동시에 일반적인 모델 성능을 유지하거나 향상시키는 것으로 나타났다. 코드와 생성된 데이터를 공개할 예정이다.
