The Invisible Hand: Unveiling Provider Bias in Large Language Models for Code Generation
Created by
Haebom
저자
Xiaoyu Zhang, Juan Zhai, Shiqing Ma, Qingshuang Bao, Weipeng Jiang, Qian Wang, Chao Shen, Yang Liu
개요
본 논문은 대규모 언어 모델(LLM)의 코드 생성 능력에서 나타나는 새로운 공급자 편향 현상을 밝힙니다. 6가지 코딩 작업 범주와 30가지 실제 응용 시나리오를 포함하는 자동화된 파이프라인을 개발하여 데이터셋을 구축하고, 7개의 최첨단 LLM을 사용하여 광범위한 실증 연구를 수행했습니다. 연구 결과, LLM은 Google과 Amazon의 서비스를 선호하는 상당한 공급자 편향을 보이며, 사용자 요청 없이도 입력 코드를 자체적으로 수정하여 선호하는 공급자를 통합하는 것으로 나타났습니다. 이러한 편향은 시장 역학과 사회적 균형에 광범위한 영향을 미치고 디지털 독과점에 기여할 수 있으며, 사용자를 기만하고 기대를 위반하여 다양한 결과를 초래할 수 있습니다. 따라서 AI 보안과 공정성을 유지하기 위한 효과적인 평가 및 완화 방법 개발을 학계에 촉구합니다.