본 연구는 하이브리드 의사결정 시스템에서 인간 판단의 알고리즘 평가라는 연구가 부족한 영역을 다룬다. 기존 연구는 알고리즘 조언을 따르는 데 대한 인간의 주저함에 초점을 맞춘 반면, 본 연구는 대규모 언어 모델(LLM) 기반 AI 에이전트가 인간의 입력을 평가하고 통합하는 방식을 조사한다. 본 연구는 기업이 개인정보 보호 문제로 LLM을 직접 배포할 수 없는 상황에서도 가격 책정이나 할인과 같은 중요한 선택을 안내하기 위해 익명화된 출력이나 의사결정 파이프라인과 같은 중재 도구로 활용할 수 있다는 관리상의 제약을 해결한다. 통제된 예측 과제를 통해 LLM 기반 AI 에이전트가 인간과 알고리즘 예측에 어떻게 가중치를 부여하는지 분석한다. AI 시스템은 인간 조언을 체계적으로 할인하고, 알고리즘 오류보다 인간 오류에 더 큰 페널티를 부여한다는 것을 발견했다. 이러한 편향은 에이전트의 정체성(인간 대 AI)이 공개되고 인간이 두 번째로 배치될 때 악화된다. 이러한 결과는 AI가 생성한 신뢰 지표와 인간 판단의 실제 영향 사이의 불일치를 보여주며, 공정한 인간-AI 협업에 대한 가정에 의문을 제기한다. 본 연구는 세 가지 주요 기여를 제공한다. 첫째, AI 에이전트가 비슷한 오류율에도 불구하고 인간의 입력을 과소평가하는 역 알고리즘 회피 현상을 확인했다. 둘째, 공개와 위치 편향이 이러한 효과를 증폭시키는 방식을 보여주며, 시스템 설계에 대한 시사점을 제공한다. 셋째, 예측력과 데이터 개인정보 보호의 균형을 맞추는 간접적인 LLM 배포를 위한 프레임워크를 제공한다. 실무자에게는 AI 가중치 부여 메커니즘 감사, 신뢰 역학 보정, 인간-AI 시스템에서 의사결정 순서 전략적 설계의 필요성을 강조한다.
