Adaptive Data Flywheel: Applying MAPE Control Loops to AI Agent Improvement
Created by
- Haebom
Category
Empty
저자
Aaditya Shukla, Sidney Knowles, Meenakshi Madugula, Dave Farris, Ryan Angilly, Santiago Pombo, Anbang Xu, Lu An, Abhinav Balasubramanian, Tan Yu, Jiaxiang Ren, Rama Akkiraju
개요
NVInfo AI는 3만 명 이상의 직원을 위한 NVIDIA의 MoE 지식 도우미입니다. MAPE 기반 데이터 플라이휠을 운영함으로써 검색 증강 생성(RAG) 파이프라인의 오류를 체계적으로 해결하고 지속적인 학습을 가능하게 하는 폐쇄 루프 시스템을 구축했습니다. 3개월 동안의 배포 후 기간 동안 495개의 부정적인 샘플을 수집했습니다. 분석 결과 라우팅 오류(5.25%)와 쿼리 재구성 오류(3.2%)의 두 가지 주요 오류 모드가 나타났습니다. NVIDIA NeMo 마이크로서비스를 사용하여 미세 조정을 통해 목표 개선을 구현했습니다. 라우팅의 경우 Llama 3.1 70B 모델을 미세 조정된 8B 변형으로 대체하여 96% 정확도, 모델 크기 10배 감소, 70% 지연 시간 개선을 달성했습니다. 쿼리 재구성을 위해 미세 조정을 수행하여 3.7% 정확도 향상과 40% 지연 시간 감소를 얻었습니다.
시사점, 한계점
•
인간-루프-피드백(HITL)을 데이터 플라이휠 내에서 구조화하여 엔터프라이즈 AI 에이전트를 자체 개선 시스템으로 변환합니다.
•
제한된 사용자 피드백에도 불구하고 에이전트의 견고성을 보장하기 위한 접근 방식, 개인 정보 보호 제약 조건 탐색, 프로덕션에서 단계적 롤아웃 실행을 포함한 주요 학습 내용.
•
실제 사용에서 학습할 수 있는 견고하고 적응력 있는 엔터프라이즈 AI 에이전트를 구축하기 위한 반복 가능한 청사진을 제공합니다.
