# A Woman with a Knife or A Knife with a Woman? Measuring Directional Bias Amplification in Image Captions

### 저자

Rahul Nair, Bhanu Tokas, Hannah Kerner

### 💡 개요

본 연구는 이미지 캡셔닝 모델이 학습 데이터셋의 편향을 더욱 증폭시키는 현상인 "편향 증폭"을 측정하는 새로운 지표인 DBAC(Directional Bias Amplification in Captioning)를 제안합니다. 기존 지표와 달리 DBAC는 캡션의 언어적 의미를 이해하면서 편향 증폭의 방향까지 식별할 수 있습니다. 실험 결과, DBAC는 COCO 캡션 데이터셋에서 성별 및 인종 편향 증폭을 측정하는 데 있어 가장 신뢰할 수 있는 지표임이 입증되었습니다.

### 🔑 시사점 및 한계

- 이미지 캡셔닝 모델에서 발생하는 편향 증폭의 원인을 언어적 의미와 함께 파악할 수 있는 새로운 측정 방법론을 제시합니다.

- 제안된 DBAC 지표는 기존 언어 인지 기반 지표의 민감도 문제를 개선하고 더 정확한 편향 증폭 추정치를 제공합니다.

- 본 연구는 AI 모델의 편향성 탐지 및 완화를 위한 중요한 도구를 제공하며, 특히 멀티모달 분야에서의 편향 연구에 기여합니다.

- COCO 데이터셋 외 다른 데이터셋에서의 DBAC의 일반화 성능 및 다양한 유형의 편향에 대한 적용 가능성 검증이 향후 과제로 남아있습니다.

---

[PDF 보기](https://arxiv.org/pdf/2503.07878)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).