Can LLMs Help You at Work? A Sandbox for Evaluating LLM Agents in Enterprise Environments
Created by
- Haebom
Category
Empty
저자
Harsh Vishwakarma, Ankush Agarwal, Ojas Patil, Chaitanya Devaguptapu, Mahesh Chandran
개요
기업 시스템은 직원과 고객의 생산성 및 의사 결정을 향상시키는 데 중요합니다. LLM 기반 시스템을 기업 시스템에 통합하면 지능형 자동화, 개인화된 경험 및 효율적인 정보 검색이 가능해져 운영 효율성과 전략적 성장을 이끌 수 있습니다. 그러나 데이터가 여러 소스에 분산되어 있고 정교한 접근 제어를 받는 기업 환경의 복잡성으로 인해 이러한 시스템을 개발하고 평가하는 것은 어렵습니다. 본 논문에서는 소프트웨어 엔지니어링, HR, 금융, 행정 분야에 걸쳐 500개의 다양한 작업을 포함하는 기업 환경을 시뮬레이션하는 포괄적인 벤치마크인 EnterpriseBench를 제시합니다. 본 벤치마크는 데이터 소스 단편화, 접근 제어 계층 및 교차 기능 워크플로우를 포함하여 주요 기업 특성을 고유하게 캡처합니다. 또한 조직 메타데이터에서 내부적으로 일관된 기업 작업을 생성하는 새로운 데이터 생성 파이프라인을 제공합니다. 최첨단 LLM 에이전트를 사용한 실험 결과, 가장 유능한 모델조차도 41.8%의 작업 완료율만 달성하여 기업 중심 AI 시스템의 개선에 상당한 기회가 있음을 강조합니다.
시사점, 한계점
•
기업 환경을 시뮬레이션하는 포괄적인 벤치마크 (EnterpriseBench) 제시.
•
데이터 소스 단편화, 접근 제어 계층, 교차 기능 워크플로우 등 주요 기업 특성 캡처.
•
조직 메타데이터 기반 내부 일관성 있는 기업 작업 생성 데이터 파이프라인 제공.
•
최첨단 LLM 에이전트의 낮은 작업 완료율 (41.8%)을 통해 기업 중심 AI 시스템 개선의 여지 확인.
•
논문 자체의 한계점은 명시되지 않음.
