Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Retrieval and Argumentation Enhanced Multi-Agent LLMs for Judgmental Forecasting

Created by
  • Haebom

저자

Deniz Gorur, Antoni Rago, Francesca Toni

개요

본 논문은 인간의 판단에 기반한 미래 사건 예측인 판단적 예측(Judgmental forecasting) 문제를 연구하며, 이를 미래 사건의 타당성을 평가하는 '주장 검증'의 한 형태로 간주합니다. 이를 위해, 여러 에이전트들이 주장 진실성에 대해 서로 다른 의견을 제시하고, 양적 양극성 논증 프레임워크(QBAFs) 형태로 증거를 제시하는 새로운 다중 에이전트 프레임워크를 제안합니다. 이 프레임워크는 (1) 기존의 ArgLLM 에이전트, (2) 외부 자료에서 LLM 기반 관계 기반 논증 마이닝(RbAM)을 활용하는 RbAM 에이전트, (3) ArgLLM 에이전트에 외부 자료에서 증거를 검색-증강 생성(RAG)하는 RAG-ArgLLM 에이전트를 포함한 다양한 LLM 기반 에이전트로 구현됩니다. 두 개의 판단적 예측 데이터셋을 사용하여, 2-3개의 에이전트를 가진 프레임워크를 6개의 다른 LLM으로 실험한 결과, 에이전트 간의 증거 결합이 예측 정확도를 향상시키고, 주장에 대한 설명 가능한 증거 결합을 제공함을 확인했습니다.

시사점, 한계점

시사점:
다중 에이전트 프레임워크를 통해 판단적 예측 정확도 향상.
에이전트 간 증거 결합으로 예측의 설명 가능성 제공.
다양한 LLM 기반 에이전트 구현을 통한 프레임워크 유연성.
한계점:
구체적인 한계점에 대한 정보는 논문 요약에서 명시되지 않음.
제시된 내용은 일반적인 시사점과 한계점을 포괄하며, 논문의 구체적인 제약 사항이나 개선점에 대한 정보는 포함되어 있지 않음.
👍