Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Reliable Decision Making via Calibration Oriented Retrieval Augmented Generation

Created by
  • Haebom

저자

Chaeyun Jang, Deukhwan Cho, Seanie Lee, Hyungi Lee, Juho Lee

Calibrated Retrieval-Augmented Generation (CalibRAG)

개요

대규모 언어 모델(LLM)이 의사 결정 지원에 널리 사용되면서 부정확한 정보를 제공하여 인간의 잘못된 결정을 이끌 수 있는 문제점이 발생했다. 이를 해결하기 위해 외부 문서를 참조하는 Retrieval Augmented Generation (RAG) 기법이 제안되었지만, 기존 RAG 방법은 인간 사용자의 의사 결정의 적절한 캘리브레이션을 보장하는 데 초점을 맞추지 않았다. 본 논문에서는 RAG 기반의 의사 결정이 잘 캘리브레이션되도록 보장하는 새로운 검색 방법인 Calibrated Retrieval-Augmented Generation (CalibRAG)을 제안한다. CalibRAG는 다양한 데이터 세트에 대해 다른 기준선보다 캘리브레이션 성능과 정확도를 향상시키는 것으로 실험적으로 검증되었다.

시사점, 한계점

CalibRAG는 RAG 기반의 의사 결정에서 캘리브레이션 성능을 향상시킴.
CalibRAG는 정확도 향상에도 기여함.
논문에서 구체적인 CalibRAG의 한계점은 제시되지 않음.
👍