Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Structured Uncertainty guided Clarification for LLM Agents

Created by
  • Haebom
Category
Empty

저자

Manan Suri, Puneet Mathur, Nedim Lipka, Franck Dernoncourt, Ryan A. Rossi, Dinesh Manocha

개요

LLM 에이전트는 도구 호출 기능을 갖춘 대규모 언어 모델을 확장하지만, 모호한 사용자 지침은 종종 잘못된 호출과 작업 실패로 이어진다. 본 논문은 도구 호출 매개변수에 대한 구조화된 불확실성 공식을 도입하여, 최적의 질문 선택을 위한 Expected Value of Perfect Information (EVPI) 목표와 중복을 방지하기 위한 측면 기반 비용 모델링을 갖춘 POMDP로 공동 도구-인수명세 명확성을 모델링한다. SAGE-Agent는 이러한 구조화된 불확실성을 활용하여 효율성을 향상시킨다: 강력한 프롬프트 및 불확실성 기반 기준선에 비해 모호한 작업에 대한 범위를 7-39% 증가시키고 명확화 질문을 1.5-2.7배 줄였다. 또한, 본 논문은 문서 편집, 차량 제어 및 여행 예약과 같은 다양한 도메인에서 현실적인 LLM 기반 사용자 시뮬레이션을 갖춘 최초의 다중 턴 도구 보강된 명확화 벤치마크인 ClarifyBench를 제시한다. 구조화된 불확실성은 강화 학습을 위한 효과적인 훈련 신호를 제공하여, When2Call 정확도를 3B 모델에서 36.5%에서 65.2%로, 7B 모델에서 36.7%에서 62.9%로 향상시켰다.

시사점, 한계점

구조화된 불확실성을 통해 도구 보강 에이전트의 작업 성공률과 상호 작용 효율성을 향상시키는 원리적이고 효율적인 접근 방식을 제시함.
모호한 작업에 대한 범위를 7-39% 증가시키고 명확화 질문을 1.5-2.7배 줄여 효율성 향상.
ClarifyBench를 통해 다중 턴 도구 보강된 명확화 벤치마크를 제시하고, 현실적인 LLM 기반 사용자 시뮬레이션을 제공.
강화 학습을 위한 효과적인 훈련 신호를 제공하여 When2Call 정확도를 향상시킴.
논문의 구체적인 한계점은 명시되지 않음.
👍