대규모 언어 모델(LLM)이 다양한 환경에 배포됨에 따라, LLM이 암묵적으로 잘못된 정보를 확산시킬 수 있는 정도가 중요한 안전 문제로 부상하고 있습니다. 기존 연구는 주로 명시적인 거짓 진술에 대해 LLM을 평가하여 실제 사용자 상호 작용에서 미묘하게 나타나는 잘못된 정보를 간과했습니다. 본 연구는 사용자 질의에 잘못된 가정이 포함된 암묵적 허위 정보에 대한 최초의 포괄적인 벤치마크인 ECHOMIST를 제시합니다. ECHOMIST는 엄격한 선택 기준과 실제 인간-AI 대화 및 소셜 미디어 상호 작용을 포함한 다양한 출처의 신중하게 정리된 데이터를 기반으로 합니다. 또한 LLM이 사용자의 잘못된 생각을 증폭시키는 것이 아니라 잘못된 정보를 인식하고 반박할 수 있는지 측정하는 새로운 평가 지표를 도입했습니다. GPT-4, Claude, Llama를 포함한 광범위한 LLM에 대한 광범위한 실증 연구를 통해 현재 모델이 이 작업에서 놀라울 정도로 성능이 저조하며 종종 잘못된 전제를 감지하지 못하고 오해의 소지가 있는 설명을 생성하는 것을 발견했습니다. 이러한 결과는 LLM 안전 연구에서 암묵적 허위 정보에 대한 집중 강화의 중요성을 강조합니다.
