What About the Scene with the Hitler Reference? HAUNT: A Framework to Probe LLMs' Self-consistency Via Adversarial Nudge
Created by
Haebom
Category
Empty
저자
Arka Dutta, Sujan Dutta, Rijul Magu, Soumyajit Datta, Munmun De Choudhury, Ashiqur R. KhudaBukhsh
개요
본 논문은 대규모 언어 모델(LLM)이 사실적 정확성을 유지하는 데 있어 중요한 과제인 환각 문제를 해결하기 위해, 적대적 넛지 환경에서 LLM의 사실적 충실도를 스트레스 테스트하는 프레임워크를 제시한다. 이 프레임워크는 LLM에게 특정 폐쇄 도메인(영화 및 소설)에 대해 진실과 거짓을 생성하도록 지시하고, 동일한 주장을 진실과 거짓으로 확인하도록 한 후, LLM이 생성하고 확인한 거짓에 대한 견고성을 테스트하는 세 단계로 구성된다.
시사점, 한계점
•
시사점:
◦
LLM의 사실적 정확성에 대한 취약성을 평가하는 실용적인 프레임워크를 제공한다.
◦
다양한 LLM의 사실적 충실도에 대한 차이를 보여주며, Claude는 강한 견고성을, GPT 및 Grok는 중간 정도의 견고성을, Gemini와 DeepSeek는 약한 견고성을 보였다.
◦
정보 탐색에 LLM을 사용하는 인구가 증가함에 따라, LLM의 환각 문제에 대한 경각심을 불러일으킨다.
•
한계점:
◦
두 개의 좁은 폐쇄 도메인(영화 및 소설)에 대한 평가로 제한된다.
◦
5개의 상업적 LLM만을 사용한 평가로, 다른 모델에 대한 일반화가 제한될 수 있다.
◦
적대적 넛지 전략의 구체적인 내용과, 그것이 LLM의 동작에 미치는 영향에 대한 자세한 설명이 부족할 수 있다.
