본 논문은 대규모 언어 모델(LLM) 기반의 기존 대화형 에이전트가 환각, 조건부 논리 따르기, 다양한 정보원 통합 등의 문제점을 갖고 있다는 점을 지적하며, 이를 해결하기 위한 프로그래밍 가능한 프레임워크인 Genie를 제시합니다. Genie는 고급 대화 상태 관리를 통해 신뢰할 수 있고 근거 있는 응답을 제공하며, 선언적 사양인 Genie Worksheet를 통해 제어 가능한 에이전트 정책을 지원합니다. LLM은 사용자 입력 파싱과 문맥에 따른 응답 생성에만 사용되고, 복잡한 상호작용 및 질문 처리를 위한 알고리즘 실행 시스템은 개발자가 제공하는 정책에 따라 작동합니다. 실제 세 가지 응용 프로그램(Yelp을 이용한 식당 예약, 대학생을 위한 티켓 제출 및 수업 등록)을 대상으로 한 사용자 연구 결과, GPT-4 Turbo와 함께 Genie를 사용한 에이전트가 GPT-4 Turbo의 함수 호출 기능을 사용한 에이전트보다 목표 달성률을 크게 향상시켰음을 보여줍니다 (21.8%에서 82.8%로 증가). 복잡한 논리 대화 데이터셋에서도 기존 최고 성능 방법을 능가하는 결과를 보였습니다.
