本論文は、大規模言語モデル（LLM）の性別偏向問題を解決するために探索的思考を促進する新しいデータ生成フレームワークを提案する。この方法は、男性と女性の主人公が登場する構造的に同じ道徳的に曖昧なシナリオの物語のペアを生成し、それぞれの道徳的判断を比較し、矛盾が発生した場合にバランスが取れ、性別中立的な判断を生成するようにモデルを導きます。これらのストーリーと判断のペアを使用して、Direct Preference Optimization（DPO）を使用してモデルを微調整または最適化します。実験結果は、提案された方法が性別偏向を大幅に減少させながら一般的なモデル性能を維持または向上させることを示している。コードと生成されたデータは公開されます。
