Structured Uncertainty guided Clarification for LLM Agents

Created by

Haebom

저자

Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Dinesh Manocha

💡 개요

LLM 에이전트가 도구 호출 시 사용자 지침의 모호함이나 불완전함으로 인해 발생하는 오류를 해결하기 위해, 본 논문은 도구 매개변수 및 도메인에 직접 적용되는 구조화된 불확실성 개념을 제안합니다. 이는 명세 불확실성과 모델 불확실성을 명확히 분리하고, 기대 완전 정보 가치(EVPI)를 활용하여 질문의 모호성 해소 가치를 정량화하며, 비용 모델링을 통해 중복 질문을 방지합니다.

🔑 시사점 및 한계

•

LLM 에이전트의 도구 호출 시 발생하는 모호성 문제를 해결하기 위한 원칙적이고 체계적인 접근 방식을 제시합니다.

•

추론 시간 및 훈련 시간 모두에서 LLM 에이전트의 효율성을 크게 향상시킬 수 있는 방법론을 제안합니다.

•

도구 호출 에이전트의 평가를 위한 최초의 다중 턴 동적 도구 호출 모호성 해소 벤치마크인 ClarifyBench를 공개합니다.

•

제시된 구조화된 불확실성 방법론이 실제 다양한 도구 호출 시나리오에서 효과적으로 작동함을 입증하였습니다.

•

새로운 벤치마크 및 방법론의 추가적인 검증과 다양한 LLM 아키텍처 및 복잡한 도구 집합에 대한 적용 가능성 탐구가 필요합니다.

PDF 보기

Made with Slashpage