The Epistemic Suite: A Post-Foundational Diagnostic Methodology for Assessing AI Knowledge Claims
Created by
- Haebom
Category
Empty
저자
Matthew Kelly
개요
본 논문은 대규모 언어 모델(LLM)이 생성하는 그럴듯한 텍스트가 사용자를 오해하게 만들 수 있다는 문제점을 지적하며, AI 출력의 생성 및 수용 조건을 드러내기 위한 사후적 진단 방법론인 "Epistemic Suite"를 소개합니다. 진실 또는 거짓을 판단하는 대신, 이 Suite는 20개의 진단 렌즈를 사용하여 신뢰도 세탁, 내러티브 압축, 권위 전가, 시간적 변화 등의 패턴을 파악합니다. 세 가지 설계 원칙(생산 진단 우선, 근본적인 해결보다 진단적 견인력 선호, 성찰을 구조적 요구 사항으로 포함)에 기반하며, AI 출력과 인간 판단 사이에 중간 계층을 생성합니다. 핵심 혁신은 판단 기준 초과 시 작동을 중단하는 'epistemic suspension'입니다. 이 방법론은 Epistemic Triage Protocol 및 Meta-Governance Layer를 포함하여 책임성, 동의, 역사적 맥락 및 다원주의적 안전 장치를 관리합니다. 내부주의적 접근 방식과 달리, 이 Suite는 외부적 scaffolding으로 작동하며, 성능과 이해를 구분하여 책임 있는 숙고를 가능하게 합니다.
시사점, 한계점
•
시사점:
◦
AI 출력의 epistemic 조건을 진단하는 새로운 방법론 제시
◦
신뢰도 세탁, 내러티브 압축 등 LLM의 문제점을 구체적으로 파악
◦
epistemic suspension을 통한 안전 장치 마련
◦
책임성, 동의, 역사적 맥락 등을 고려한 Meta-Governance Layer 도입
◦
내부주의적 접근 방식의 한계를 극복하고 외부적 scaffolding 제공
•
한계점:
◦
구체적인 20개의 진단 렌즈에 대한 자세한 설명 부족
◦
방법론의 실제 적용 및 효과에 대한 구체적인 사례 부족
◦
epistemic suspension의 작동 방식 및 판단 기준의 모호성
◦
Meta-Governance Layer의 구체적인 구현 방식 및 실효성에 대한 추가적인 설명 필요
◦
방법론의 일반화 가능성 및 다른 LLM 모델에의 적용 가능성에 대한 논의 부족
