Sign In

Adobe Summit Concierge Evaluation with Human in the Loop

Created by
  • Haebom
Category
Empty

저자

Yiru Chen, Sally Fang, Sai Sree Harsha, Dan Luo, Vaishnavi Muppala, Fei Wu, Shun Jiang, Kun Qian, Yunyao Li

Summit Concierge: Adobe Summit을 위한 도메인별 AI 어시스턴트

개요

본 연구에서는 기업 환경에서 생산성 향상, 정보 접근 간소화, 사용자 경험 개선에 잠재력을 가진 생성형 AI 어시스턴트인 Summit Concierge를 소개한다. 이 어시스턴트는 Adobe Summit을 위해 개발되었으며, 데이터 희소성, 품질 보증, 빠른 배포와 같은 실제 제약 조건 하에서 다양한 이벤트 관련 쿼리를 처리한다. 이러한 과제를 해결하기 위해, 프롬프트 엔지니어링, 검색 기반, 경량의 인간 검증을 결합한 human-in-the-loop 개발 워크플로우를 채택했다. 시스템 아키텍처, 개발 프로세스 및 실제 배포 결과를 설명한다.

시사점, 한계점

민첩하고 피드백 기반의 개발은 콜드 스타트 시나리오에서도 확장 가능하고 신뢰할 수 있는 AI 어시스턴트를 가능하게 한다.
(한계점은 논문에 명시되지 않음)
👍