How does Misinformation Affect Large Language Model Behaviors and Preferences?
Created by
Haebom
저자
Miao Peng, Nuo Chen, Jianheng Tang, Jia Li
개요
본 논문은 대규모 언어 모델(LLM)의 허위 정보 취약성을 해결하기 위해, 현재까지 가장 크고 종합적인 벤치마크인 MisBench를 제시합니다. MisBench는 10,346,712개의 허위 정보를 포함하며, 지식 기반 충돌과 허위 정보의 스타일 변화를 모두 고려합니다. 실험 결과, LLM은 허위 정보 식별 능력이 유사하지만 여전히 지식 충돌과 스타일 변화에 취약함을 보여줍니다. 이를 해결하기 위해, 본 논문은 새로운 접근 방식인 Reconstruct to Discriminate (RtD)를 제안합니다. MisBench는 LLM 기반 허위 정보 탐지기 평가 및 실제 응용 프로그램에서의 신뢰성 향상에 효과적인 벤치마크로 활용될 수 있습니다. 코드와 데이터는 https://github.com/GKNL/MisBench 에서 이용 가능합니다.