[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Beyond Partisan Leaning: A Comparative Analysis of Political Bias in Large Language Models

Created by
  • Haebom

저자

Tai-Quan Peng, Kaiqi Yang, Sanguk Lee, Hang Li, Yucheng Chu, Yuping Lin, Hui Liu

개요

본 논문은 대규모 언어 모델(LLM)의 정치적 편향성을 평가하기 위해 기존의 인격체 기반 접근법 대신 사용자의 일반적인 상호작용 방식을 반영하는 주제별 접근법을 제시합니다. 미국, 유럽, 중국, 중동에서 개발된 43개의 LLM을 대상으로 ANES와 Pew Research Center의 설문 조사 스타일 프롬프트를 사용하여, 고도로 양극화된 주제(낙태, 이민 등)에 대한 당파적 성향과 덜 양극화된 주제(기후 변화, 외교 정책 등)에 대한 사회 정치적 참여도를 측정하는 2차원 프레임워크를 적용했습니다. 엔트로피 가중 편향 점수를 통해 당파적 정렬의 방향과 일관성을 정량화하고, 참여 프로필을 통해 네 가지 행동 클러스터를 식별했습니다. 연구 결과 대부분의 모델은 중도좌파 또는 좌파 성향을 보였으며, 비당파적 참여 패턴은 다양하게 나타났습니다. 모델의 규모와 개방성은 행동을 예측하는 강력한 지표가 아니며, 정렬 전략과 제도적 맥락이 정치적 표현을 형성하는 데 더 중요한 역할을 한다는 것을 시사합니다.

시사점, 한계점

시사점:
LLM의 정치적 편향성 평가에 있어 기존의 인격체 기반 접근법의 한계를 극복하고, 실제 사용 환경을 반영하는 새로운 평가 방법을 제시했습니다.
43개의 LLM을 대상으로 광범위한 분석을 수행하여, LLM의 정치적 편향성의 실태를 보여주었습니다.
모델의 규모와 개방성보다 정렬 전략과 제도적 맥락이 LLM의 정치적 표현에 더 큰 영향을 미친다는 사실을 밝혔습니다.
LLM의 정치적 편향성을 완화하기 위한 전략 수립에 중요한 시사점을 제공합니다.
한계점:
사용된 프롬프트의 제한으로 인해, LLM의 정치적 편향성을 완전히 포괄적으로 평가하지 못했을 가능성이 있습니다.
분석에 사용된 LLM의 다양성이 충분하지 않을 수 있으며, 특정 지역이나 개발 방식에 편향되어 있을 가능성이 있습니다.
엔트로피 가중 편향 점수의 객관성과 신뢰성에 대한 추가적인 검증이 필요합니다.
장기적인 관점에서 LLM의 정치적 편향성 변화 추이를 지속적으로 모니터링할 필요가 있습니다.
👍