본 논문은 신뢰할 수 있는 AI 개발에 있어 근본적인 문제로 남아있는 대규모 언어 모델(LLM)의 환각 현상을 해결하기 위해, 특히 의료, 법률, 금융과 같은 고위험 다중 모달 도메인에서 문제를 해결하고자 합니다. 기존의 평가 기법이 정성적 벤치마킹이나 임시적인 완화책에 의존하는 한계를 극복하고, 다중 모달 LLM(MLLM)의 환각 현상을 정량화하기 위한 엄격한 정보 기하학적 프레임워크를 제안합니다. 본 연구는 MLLM의 출력을 다중 모달 그래프 Laplacian을 기반으로 하는 스펙트럼 임베딩으로 표현하고, 진실과 불일치 사이의 매니폴드 갭을 의미적 왜곡으로 특징짓습니다. 이를 통해 시간 의존적 온도 프로파일의 함수로서 다중 모달 환각 에너지에 대한 좁은 Rayleigh-Ritz 경계를 설정합니다. 재생 커널 힐베르트 공간(RKHS) 임베딩에서 고유 모드 분해를 활용하여, 시간 경과 및 입력 프롬프트에 따른 환각의 진화를 포착하는 모달리티 인식 및 이론적으로 해석 가능한 메트릭을 제공합니다.
