Compliance Brain Assistant: Conversational Agentic AI for Assisting Compliance Tasks in Enterprise Environments
Created by
Haebom
저자
Shitong Zhu, Chenhao Fang, Derek Larson, Neel Reddy Pochareddy, Rajeev Rao, Sophie Zeng, Yanqing Peng, Wendy Summer, Alex Goncalves, Arya Pudota, Herve Robert
개요
본 논문은 기업 환경에서 직원들의 일상적인 규정 준수 업무 효율을 높이기 위해 설계된 대화형 에이전트 AI 어시스턴트인 Compliance Brain Assistant (CBA)를 제시합니다. CBA는 응답 품질과 지연 시간 사이의 균형을 맞추기 위해 두 가지 모드를 제공하는 사용자 질의 라우터를 사용합니다. 첫째, 단순한 요청을 처리하는 FastTrack 모드는 지식 저장소에서 관련 정보를 검색합니다. 둘째, 복잡한 요청을 처리하는 FullAgentic 모드는 다양한 규정 준수 문서에서 맥락을 사전적으로 찾고, 다른 API/모델을 활용하여 요청을 처리하기 위해 복합적인 작업과 도구 호출을 수행합니다. 실험 평가 결과, CBA는 다양한 실제 개인 정보 보호/규정 준수 관련 질의에 대해 기존 LLM보다 평균 키워드 일치율(83.7% 대 41.7%) 및 LLM 평가 통과율(82.0% 대 20.0%) 측면에서 성능이 크게 향상된 것으로 나타났습니다. 또한, 라우팅 기반 설계를 fast-track only 및 full-agentic 모드와 비교한 결과, 실행 시간을 거의 동일하게 유지하면서 평균 일치율과 통과율이 더 높은 것으로 나타나 라우팅 메커니즘이 두 모드 간의 균형을 잘 맞춘다는 가설을 검증했습니다.
시사점, 한계점
•
시사점:
◦
대화형 AI 어시스턴트를 활용하여 기업의 규정 준수 업무 효율을 향상시킬 수 있음을 보여줌.
◦
사용자 질의 라우팅 메커니즘을 통해 응답 품질과 지연 시간 사이의 균형을 효과적으로 제어할 수 있음을 증명.
◦
기존 LLM 대비 성능 향상을 실험적으로 검증.
•
한계점:
◦
실험 데이터의 규모와 다양성에 대한 자세한 설명 부족.
◦
특정 기업 환경에 맞춰 설계되었으므로 다른 환경에서의 일반화 가능성에 대한 추가 연구 필요.
