LLM의 정치적 편향이 후속 애플리케이션에 부정적인 영향을 미칠 수 있다는 점을 고려하여, 기존의 편향 분석 방법이 가진 한계(소규모 중간 과제 의존, LLM 자체를 분석에 활용하여 편향을 증폭시키는 문제)를 극복하기 위한 새로운 접근법을 제시한다. 본 연구는 동일 문장 내 대상 개체에 따라 LLM의 감정 예측이 달라지는 현상을 활용하여 엔트로피 기반의 불일치 척도를 정의하고, 6개 언어, 7개 모델을 사용하여 1319명의 다양한 정치인 이름을 450개의 정치적 문장에 삽입하여 대상 지향적 감정을 예측한다. 그 결과 모든 조합에서 불일치를 관찰하였고, 다양한 수준에서 통계적으로 견고한 분석을 통해 좌파 및 극우 정치인에 대한 긍정적 및 부정적 편향과 유사한 정치적 성향을 가진 정치인 간의 긍정적 상관관계를 확인하였다. 또한 서구 언어에서 편향 강도가 더 높고, 큰 모델일수록 더 강하고 일관된 편향을 보이며 유사 언어 간의 차이를 줄이는 것을 확인하였다. 마지막으로, 정치인 이름을 허구적이지만 그럴듯한 대응물로 대체하여 대상 지향적 감정 분류(TSC)에서 LLM의 신뢰성을 부분적으로 완화하였다.
