A Geometric Taxonomy of Hallucinations in LLMs

Created by

Haebom

저자

Javier Marin

💡 개요

본 논문은 대규모 언어 모델(LLM)의 환각 현상을 임베딩 공간에서의 기하학적 특징에 기반하여 세 가지 유형(문맥 불충실, 허구, 사실 오류)으로 분류하는 새로운 분류 체계를 제안합니다. LLM이 생성한 환각은 영역에 국한된 탐지 성능을 보이는 반면, 인간이 만든 허구는 영역 간 일관된 탐지 성능을 나타내는 비대칭성을 관찰했습니다. 이러한 기하학적 구조의 차이는 환각의 근본적인 현상 차이에서 비롯된다고 해석하며, 임베딩 기반 탐지가 문맥 불충실과 허구 유형에는 효과적이지만 사실 오류 유형에는 외부 검증이 필요함을 시사합니다.

🔑 시사점 및 한계

•

LLM 환각 현상을 임베딩 공간의 기하학적 특징을 통해 명확히 구분하고 분류할 수 있습니다.

•

LLM이 생성한 환각과 인간이 의도적으로 만든 허구는 서로 다른 기하학적 구조를 가지며, 이는 탐지 전략 수립에 중요한 단서를 제공합니다.

•

사실 오류(Type III)는 임베딩 공간의 정보만으로는 탐지가 불가능하며, 외부의 사실 검증 메커니즘이 필수적임을 보여줍니다.

•

임베딩은 외부 세계와의 실제 대응 관계보다는 분포상의 동시 발생을 반영하므로, 진실성 검증에 근본적인 한계가 있습니다.

PDF 보기

Made with Slashpage