Counterfactual-based Agent Influence Ranker for Agentic AI Workflows
Created by
- Haebom
Category
Empty
저자
Amit Giloni, Chiara Picardi, Roy Betser, Shamik Bose, Aishvariya Priya Rathina Sabapathy, Roman Vainshtein
개요
Agentic AI Workflow (AAW), 즉 LLM 기반 멀티 에이전트 시스템은 여러 LLM 기반 에이전트를 조립하여 공동의 목표를 향해 자율적으로 작동하는 시스템이다. 이러한 AAW의 높은 자율성, 광범위한 채택, 그리고 증가하는 관심은 품질 및 보안 측면에서 작동 방식에 대한 더 깊은 이해를 요구한다. 본 논문에서는 각 에이전트가 AAW의 최종 출력에 미치는 영향을 평가하는 최초의 방법인 CAIR(Counterfactual-based Agent Influence Ranker)를 제시한다. CAIR은 반사실적 분석을 수행하여 오프라인과 추론 시간 모두에서 사용할 수 있는 task-agnostic 분석을 제공한다. 자체 제작한 AAW 데이터셋을 사용하여 CAIR을 평가했으며, 일관된 순위를 생성하고, 기존 방법보다 성능이 뛰어나며, 다운스트림 작업의 효과와 관련성을 쉽게 향상시킬 수 있음을 확인했다.
시사점, 한계점
•
시사점:
◦
AAW의 각 에이전트가 최종 출력에 미치는 영향을 평가하는 최초의 방법론 제시.
◦
반사실적 분석을 통해 task-agnostic 분석을 제공하여 오프라인 및 추론 시간에 사용 가능.
◦
CAIR은 일관된 순위를 생성하고, 기존 방법보다 성능이 우수하며, 다운스트림 작업의 효과 및 관련성을 향상시킬 수 있음.
•
한계점:
◦
논문에 명시된 한계점은 제시되지 않음.
