다국어 텍스트-이미지(T2I) 모델의 발전에도 불구하고, 문화적 맥락에 따라 출력 결과가 달라지는 문제를 분석한다. 기존 모델들이 다국어 프롬프트에서 문화적으로 중립적이거나 영어 편향적인 결과를 생성하는 것을 확인하고, 이는 문화 관련 지식 부족이 아닌, 문화 관련 표현의 불충분한 활성화 때문임을 밝힌다. 특정 신경 세포에 문화 감지 신호가 집중되어 있음을 발견하고, 이를 기반으로 모델을 미세 조정하지 않고 특정 신경 세포를 활성화하는 추론 시간 문화 활성화와 문화 관련 레이어만 업데이트하는 레이어 타겟 문화 향상이라는 두 가지 정렬 전략을 제안한다. CultureBench 실험을 통해 제안하는 방법론이 문화적 일관성을 개선하면서 충실도와 다양성을 유지함을 입증한다.
시사점, 한계점
•
시사점:
◦
다국어 T2I 모델의 문화적 편향 문제를 해결하기 위한 구체적인 분석 및 해결책 제시.
◦
추론 시간 문화 활성화 및 레이어 타겟 문화 향상이라는 효과적인 정렬 전략 제안.
◦
CultureBench를 통해 제안된 방법론의 성능 검증.
•
한계점:
◦
문화 감지 신호의 정확한 위치(특정 신경 세포)와 관련된 일반화 가능성 제한.
◦
모델 아키텍처 및 훈련 데이터의 특정 측면(예: 언어, 문화적 다양성)에 따라 효과가 달라질 수 있음.
