Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Catch Me if You Search: When Contextual Web Search Results Affect the Detection of Hallucinations

Created by
  • Haebom

저자

Mahjabin Nahar, Eun-Ju Lee, Jin Won Park, Dongwon Lee

개요

본 연구는 대규모 언어 모델(LLM)이 생성한 콘텐츠의 정확성을 평가하는 데 웹 검색 결과를 통합하는 것이 사용자의 인식 정확도와 신뢰도에 미치는 영향을 조사했습니다. 560명의 참가자를 대상으로 고정된 검색 결과(정적) 또는 참가자 주도 검색(동적)을 제공하는 조건과 검색 결과를 제공하지 않는 대조군 조건을 비교했습니다. 그 결과, 정적 및 동적 조건 모두에서 대조군에 비해 환각 콘텐츠의 정확도가 낮게 평가되었으며, 특히 동적 조건에서는 진짜 콘텐츠의 정확도가 더 높게 평가되고 전반적인 신뢰도가 더 높았습니다. 또한, 인지 욕구(NFC)가 높은 참가자는 낮은 참가자보다 심각한 환각의 정확도를 더 낮게 평가했습니다.

시사점, 한계점

시사점:
웹 검색 결과를 LLM에 통합하면 환각 감지를 향상시킬 수 있습니다.
동적 검색 결과 제공이 정적 검색 결과 또는 검색 결과 없이 사용하는 것보다 사용자의 정확성 평가 및 신뢰도 향상에 더 효과적입니다.
사용자의 인지 욕구(NFC)와 같은 개인 특성을 고려하여 인간 중심 시스템을 개발해야 합니다.
한계점:
본 연구는 특정한 LLM과 검색 엔진에 의존하여 일반화에 제한이 있을 수 있습니다.
참가자 샘플의 특성(예: NFC 분포)이 결과에 영향을 미쳤을 가능성이 있습니다.
다양한 유형의 환각 및 콘텐츠에 대한 일반화 가능성에 대한 추가 연구가 필요합니다.
👍