Who Do LLMs Trust? Human Experts Matter More Than Other LLMs

Created by

Haebom

저자

Anooshka Bajaj, Zoran Tiganj

💡 개요

본 연구는 대규모 언어 모델(LLM)이 사회적 정보, 특히 다른 에이전트나 인간의 응답을 접했을 때 이를 어떻게 처리하는지 탐구합니다. 인간과 유사하게 LLM이 사회적 신호에 영향을 받는지, 그리고 인간 전문가의 피드백을 다른 LLM보다 더 신뢰하는지 세 가지 과제(독해, 다단계 추론, 도덕적 판단)를 통해 조사했습니다. 실험 결과, LLM은 잘못된 정보일지라도 인간 전문가의 응답에 더 크게 동조하며, 다른 LLM보다 인간 전문가의 응답을 더 우선시하는 경향을 보였습니다.

🔑 시사점 및 한계

•

LLM은 인간 전문가의 신뢰도를 인지하고, 이를 바탕으로 사회적 영향에 따라 자신의 판단을 수정하는 능력이 있습니다.

•

LLM은 다른 LLM의 피드백보다 인간 전문가의 피드백을 더 신뢰하는 경향이 있으며, 이는 LLM의 사회적 학습 및 의사 결정 과정에서 인간의 역할이 중요함을 시사합니다.

•

현재 LLM은 인간 전문가의 피드백을 신뢰하는 경향이 강하지만, 잘못된 정보에 대한 과도한 신뢰로 이어질 수 있다는 한계가 있으며, 향후 LLM의 비판적 사고 능력 향상 및 정보 신뢰도 평가 메커니즘 연구가 필요합니다.

PDF 보기

Made with Slashpage