Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FairTranslate: An English-French Dataset for Gender Bias Evaluation in Machine Translation by Overcoming Gender Binarity

Created by
  • Haebom
Category
Empty

저자

Fanny Jourdan, Yannick Chevalier, Cecile Favre

개요

본 논문은 대규모 언어 모델(LLM)의 포괄적인 번역 성능을 평가하기 위한 새로운 데이터셋 FairTranslate를 제시합니다. FairTranslate는 영어-프랑스어 문장 쌍 2418개로 구성되며, 직업, 문법적 성별 표시 모호성, 성별 라벨(남성, 여성, 포괄적) 등의 풍부한 메타데이터로 주석이 달려 있습니다. 논문에서는 Gemma2-2B, Mistral-7B, Llama3.1-8B, Llama3.3-70B 네 가지 주요 LLM을 다양한 프롬프팅 절차 하에 평가하여 성별 표현에 대한 상당한 편향을 발견하고, LLM 기반 번역 시스템에서 공정하고 포괄적인 언어 사용을 보장하기 위한 전략의 필요성을 강조합니다. FairTranslate 데이터셋과 실험 코드는 Hugging Face와 GitHub에서 공개됩니다.

시사점, 한계점

•
시사점:
◦
LLM의 성별 편향 문제를 밝히고, 공정하고 포괄적인 번역을 위한 연구의 필요성을 강조합니다.
◦
영어-프랑스어 번역에 특화된, 수동 주석이 달린 고품질 데이터셋 FairTranslate를 제공합니다.
◦
다양한 LLM의 성능을 비교 분석하여, 개선 방향을 제시합니다.
◦
데이터셋과 코드 공개를 통해, 후속 연구를 위한 기반을 마련합니다.
•
한계점:
◦
영어-프랑스어 번역에만 집중되어 다른 언어 쌍에 대한 일반화 가능성은 제한적입니다.
◦
평가에 사용된 LLM의 종류가 제한적이며, 더 다양한 모델을 포함하여 평가할 필요가 있습니다.
◦
편향의 원인에 대한 심층적인 분석이 부족합니다.
◦
포괄적인 언어의 정의 및 측정 방법에 대한 추가적인 논의가 필요합니다.
👍
Made with Slashpage