Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning

Created by
  • Haebom

저자

Yuehan Qin, Shawn Li, Yi Nian, Xinyan Velocity Yu, Yue Zhao, Xuezhe Ma

개요

본 논문은 대규모 언어 모델(LLM)이 잘못된 전제를 포함한 사용자 질의에 대해 환각(hallucination) 응답을 생성하는 문제를 해결하기 위한 새로운 접근 방식을 제안합니다. 기존의 사전 훈련, 미세 조정, 추론 시점 기법들은 계산 비용이 많이 들거나, 방대한 훈련 데이터를 필요로 하거나, 생성 전에 환각을 예방하는 사전 예방 메커니즘이 부족한 한계가 있습니다. 본 논문에서 제안하는 방법은 사용자 질의를 논리적 표현으로 변환하고, 검색 증강 생성(RAG)을 사용하여 사실적 근거를 바탕으로 각 전제의 유효성을 평가합니다. 그런 다음 검증 결과를 LLM 프롬프트에 통합하여 최종 출력의 사실적 일관성을 유지합니다. 실험 결과, 이 방법은 환각을 효과적으로 줄이고 사실적 정확도를 향상시키며, 모델 로짓에 대한 접근이나 대규모 미세 조정이 필요하지 않음을 보여줍니다.

시사점, 한계점

시사점:
LLM의 환각 문제를 효과적으로 해결하는 새로운 retrieval-based framework 제시
모델 로짓 접근이나 대규모 미세 조정 없이도 환각 감소 및 사실 정확도 향상 가능
실시간 응용에 적합한 효율적인 방법 제시
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
복잡한 논리적 표현이나 모호한 질의에 대한 적용 가능성 검토 필요
사용된 사실적 근거의 신뢰성 및 완전성에 대한 고려 필요
👍