본 논문은 대규모 언어 모델(LLM)의 편향성을 정량화하는 새로운 프레임워크인 'Relative Bias' 프레임워크를 제안한다. 기존의 LLM 편향성 평가의 어려움을 해결하기 위해, 특정 도메인 내에서 다른 LLM들과 비교하여 상대적인 편향 정도를 측정하는 방법을 제시한다. 이를 위해 두 가지 방법론, 즉 임베딩 변환 분석(Embedding Transformation analysis)과 LLM-as-a-Judge를 제시하고, 여러 사례 연구를 통해 두 방법의 일관성과 효과를 검증한다. 결과적으로, 본 논문은 LLM의 상대적 편향성을 체계적이고 확장 가능하며 통계적으로 엄격하게 분석하는 접근 방식을 제공한다.
