Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Catch Me if You Search: When Contextual Web Search Results Affect the Detection of Hallucinations

Created by
  • Haebom

저자

Mahjabin Nahar, Eun-Ju Lee, Jin Won Park, Dongwon Lee

개요

본 연구는 대규모 언어 모델(LLM)이 생성하는 부정확한 내용, 즉 '환각'에 대한 검증을 위해 웹 검색 결과를 활용하는지 여부를 조사한 온라인 실험(N=560)을 수행했습니다. LLM이 생성한 콘텐츠에 대한 정적(LLM이 제공하는 고정된 검색 결과) 또는 동적(참가자 주도 검색) 검색 결과를 제공하는 조건과 대조군(검색 결과 없음)을 비교하여 참가자의 LLM 생성 콘텐츠 정확도 인식(진짜, 사소한 환각, 심각한 환각), 정확도 평가에 대한 자신감, 그리고 LLM에 대한 전반적인 평가를 분석했습니다. 결과적으로 정적 및 동적 검색 결과 조건 모두 대조군에 비해 환각된 콘텐츠의 정확성을 낮게 평가하고 LLM에 대한 부정적 인식을 보였습니다. 하지만 동적 검색 조건의 참가자들은 진짜 콘텐츠를 더 정확하게 평가하고 전반적인 자신감 수준이 더 높았습니다. 웹 검색 기능을 LLM에 통합하는 실제 상황의 실용적 의미를 강조했습니다.

시사점, 한계점

시사점:
웹 검색 기능 통합은 LLM의 환각 문제 해결에 도움이 될 수 있음을 시사합니다.
특히 사용자 주도의 동적 검색 기능이 LLM 생성 콘텐츠의 정확성 평가 및 신뢰도 향상에 효과적임을 보여줍니다.
LLM의 실제 활용에 있어 웹 검색 기능 통합의 중요성을 강조합니다.
한계점:
온라인 실험의 특성상 실제 환경과의 차이가 존재할 수 있습니다.
참가자 규모(N=560)가 충분한지에 대한 추가적인 검토가 필요할 수 있습니다.
다양한 유형의 LLM과 검색 엔진에 대한 일반화 가능성에 대한 추가 연구가 필요합니다.
검색 결과의 질이나 편향성에 따른 영향에 대한 분석이 부족할 수 있습니다.
👍