Measuring and identifying factors of individuals' trust in Large Language Models
Created by
- Haebom
Category
Empty
저자
Edoardo Sebastiano De Duro, Giuseppe Alessandro Veltri, Hudson Golino, Massimo Stella
개요
본 논문은 대규모 언어 모델(LLM)에 대한 신뢰 측정을 위한 새로운 프레임워크인 신뢰-LLM 지수(TILLMI)를 제시한다. McAllister의 인지적 및 정서적 신뢰 차원을 LLM-인간 상호작용에 확장하여 개발된 TILLMI는 심리 측정 척도로, LLM 시뮬레이션 유효성 검증 프로토콜을 통해 1,000명의 미국 응답자를 대상으로 검증되었다. 탐색적 요인 분석을 통해 2요인 구조가 확인되었고, 최종적으로 6개 항목의 2요인 구조 척도가 도출되었다. 확인적 요인 분석 결과 뛰어난 모델 적합도를 보였으며(CFI = .995, TLI = .991, RMSEA = .046, pX2 > .05), 수렴 타당성 분석을 통해 LLM에 대한 신뢰는 개방성, 외향성, 인지적 유연성과 양의 상관관계를, 신경증과는 음의 상관관계를 보였다. 두 요인은 각각 "LLM과의 친밀감"(정서적 차원)과 "LLM에 대한 의존도"(인지적 차원)로 해석되었으며, 연령, 성별, LLM 사용 경험에 따라 신뢰 수준의 차이가 나타났다. 이 연구는 AI 기반 언어 소통에 대한 신뢰 측정에 대한 새로운 경험적 기반을 제공하여 책임감 있는 설계 및 균형 잡힌 인간-AI 협업을 촉진한다.
시사점, 한계점
•
시사점:
◦
LLM에 대한 신뢰를 측정하는 새로운 심리 측정 척도 TILLMI 개발 및 검증.
◦
LLM에 대한 신뢰의 인지적 및 정서적 차원을 규명.
◦
인구통계학적 요인과 LLM 사용 경험이 LLM에 대한 신뢰에 미치는 영향 분석.
◦
책임감 있는 AI 설계 및 인간-AI 협업 증진에 대한 실증적 기반 제공.
•
한계점:
◦
연구 대상이 미국 응답자로 한정되어 일반화 가능성에 제한.
◦
LLM 시뮬레이션 유효성 검증 프로토콜의 일반화 가능성에 대한 추가 연구 필요.
◦
LLM에 대한 신뢰에 영향을 미치는 다른 요인들에 대한 추가 연구 필요.
