Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Probing Politico-Economic Bias in Multilingual Large Language Models: A Cultural Analysis of Low-Resource Pakistani Languages

Created by
  • Haebom

저자

Afrozah Nadeem, Mark Dras, Usman Naseem

개요

본 논문은 파키스탄의 5개 저자원 언어(우르두어, 펀자브어, 신드어, 발루치어, 파슈토어)를 사용하는 13개 최첨단 거대 언어 모델(LLM)의 정치적 편향에 대한 체계적인 분석을 제시합니다. 개선된 정치적 나침반 테스트(PCT)와 다층적 프레이밍 분석을 통합한 새로운 프레임워크를 제안하여, 경제적(좌우) 및 사회적(자유주의-권위주의) 축에 걸친 정치적 성향에 대한 정량적 평가와 내용, 스타일, 강조를 통한 프레이밍에 대한 정성적 분석을 결합합니다. 파키스탄 사회와 관련된 11가지 주요 사회 정치적 주제와 프롬프트를 정렬하여 분석에 대한 맥락을 추가합니다. 분석 결과, LLM은 서구 훈련 데이터의 영향을 반영하여 대체로 자유주의적 좌파 가치에 부합하지만, 지역 언어에서는 권위주의적 프레이밍으로 눈에 띄게 이동하여 강력한 문화적 변조 효과를 보여줍니다. 또한 일관된 모델별 편향 서명과 이념적 표현에서 언어에 따른 변화를 확인합니다. 이러한 결과는 문화적으로 기반을 둔 다국어 편향 감사 프레임워크의 시급한 필요성을 보여줍니다.

시사점, 한계점

시사점:
저자원 언어의 LLM에서 정치적 편향의 체계적인 분석을 제공합니다.
서구 중심적인 훈련 데이터의 영향과 문화적 변조 효과를 보여줍니다.
모델별 편향과 언어에 따른 편향 차이를 밝힙니다.
문화적으로 기반을 둔 다국어 편향 감사 프레임워크의 필요성을 강조합니다.
한계점:
분석 대상 언어가 파키스탄의 5개 저자원 언어로 제한됩니다.
사용된 프레임워크(개선된 PCT와 다층적 프레이밍 분석)의 일반화 가능성에 대한 추가 연구가 필요합니다.
LLM의 정치적 편향에 영향을 미치는 다른 요인들(예: 데이터 크기, 모델 아키텍처)에 대한 추가 분석이 필요합니다.
👍