Measuring and identifying factors of individuals' trust in Large Language Models
Created by
- Haebom
Category
Empty
저자
Edoardo Sebastiano De Duro, Giuseppe Alessandro Veltri, Hudson Golino, Massimo Stella
개요
본 논문은 대규모 언어 모델(LLM)에 대한 신뢰 형성을 측정하기 위한 새로운 척도인 Trust-In-LLMs Index (TILLMI)를 제시한다. McAllister의 인지적 및 정서적 신뢰 차원을 LLM-인간 상호작용에 확장하여 개발된 TILLMI는 1,000명의 미국 응답자를 대상으로 검증되었다. 탐색적 요인 분석을 통해 2요인 구조를 확인하였고, 최종적으로 "LLM과의 친밀감"(정서적 차원)과 "LLM에 대한 의존도"(인지적 차원)의 두 가지 요인으로 구성된 6문항 척도를 개발하였다. 확인적 요인 분석 결과 강력한 모형 적합도를 보였으며(CFI = .995, TLI = .991, RMSEA = .046, p<sub>X<sup>2</sup></sub> > .05), 수렴 타당성 분석 결과 LLM에 대한 신뢰는 개방성, 외향성, 인지적 유연성과 양의 상관관계를, 신경증과는 음의 상관관계를 보였다. 젊은 남성이 고령 여성보다 LLM에 대한 친밀감과 의존도가 높았고, LLM 사용 경험이 없는 개인은 사용자보다 신뢰 수준이 낮았다. 이러한 결과는 AI 기반 언어 소통에 대한 신뢰 측정을 위한 새로운 경험적 기반을 제공하며, 책임 있는 설계와 균형 잡힌 인간-AI 협업을 촉진하는 데 기여한다.
시사점, 한계점
•
시사점:
◦
LLM에 대한 신뢰를 측정하는 새로운 척도인 TILLMI 개발 및 검증.
◦
LLM에 대한 신뢰 형성에 영향을 미치는 요인(성별, 연령, 사용 경험, 성격 특성) 규명.
◦
AI 기반 언어 소통에 대한 신뢰 측정의 새로운 경험적 기반 제공.
◦
책임 있는 AI 설계 및 균형 잡힌 인간-AI 협업 촉진에 기여.
•
한계점:
◦
연구 대상이 미국 응답자로 제한되어 일반화 가능성에 대한 추가 연구 필요.
◦
LLM-simulated validity라는 독창적인 프로토콜을 사용했으나, 타당성에 대한 추가 검증 필요.
◦
다양한 종류의 LLM에 대한 신뢰 측정의 일반화 가능성에 대한 추가 연구 필요.
