Why Trust in AI May Be Inevitable
Created by
- Haebom
Category
Empty
저자
Nghi Truong, Phanish Puranam, Ilia Testlin
개요
본 논문은 인간-AI 상호작용에서 설명의 역할에 대해 논의하며, 신뢰가 설명의 전제조건이 될 수 있다고 주장한다. 설명을 지식 네트워크 내에서 공유된 개념과 설명될 개념 사이의 경로 탐색 과정으로 공식화하여, 제한된 시간 내에 설명이 실패할 수 있음을 보여준다. 이 모델은 행위자들이 합리적이고 정직하며 동기가 부여되고 완벽하게 의사소통할 수 있으며 중첩된 지식을 가지고 있는 이론적으로 이상적인 조건에서도 설명이 실패할 수 있음을 밝힌다. 성공적인 설명에는 공유된 지식의 존재뿐 아니라 시간 제약 내에서 연결 경로를 찾는 것이 필요하며, 따라서 공유된 지식이 발견되기 전에 설명 시도를 중단하는 것이 합리적일 수 있다. 특히 대규모 언어 모델과 같이 정교하고 표면적으로는 설득력 있지만 허위적인 설명을 생성할 수 있는 AI 시스템이 등장함에 따라, 인간은 진정한 설명을 요구하기보다는 신뢰에 의존하는 경향이 생길 수 있으며, 이는 잘못된 신뢰와 불완전한 지식 통합의 위험을 초래한다.
시사점, 한계점
•
시사점:
◦
AI 설명의 불가능성을 형식적으로 증명하고, 신뢰와 설명의 관계를 재검토할 필요성을 제기한다.
◦
대규모 언어 모델 등의 발전에 따라, 인간이 허위 설명에 대한 신뢰에 의존할 위험성을 경고한다.
◦
잘못된 신뢰와 불완전한 지식 통합으로 인한 위험성을 강조한다.
•
한계점:
◦
제시된 모델이 단순화된 가정에 기반하여 실제 인간-AI 상호작용의 복잡성을 완전히 반영하지 못할 수 있다.
◦
설명의 실패에 대한 구체적인 측정 기준이나 실험적 검증이 부족하다.
◦
시간 제약 외 다른 설명 실패 요인(예: 지식의 불완전성, 의사소통의 어려움 등)에 대한 고려가 부족할 수 있다.
