Why Do AI Agents Systematically Fail at Cloud Root Cause Analysis?

Created by

Haebom

저자

Taeyoon Kim, Woohyeok Park, Hoyeong Yun, Kyungyong Lee

💡 개요

클라우드 시스템 장애 시 자동 근본 원인 분석(RCA)은 필수적이지만, LLM 에이전트를 활용한 기존 RCA 시스템은 낮은 탐지 정확도를 보이며 실패 원인에 대한 분석이 부족했습니다. 본 논문은 LLM 기반 RCA 에이전트의 프로세스 수준 실패 분석을 통해 12가지 주요 실패 유형을 분류하였으며, 이들은 주로 에이전트 내부 추론, 에이전트 간 통신, 에이전트-환경 상호작용에서 발생함을 밝혔습니다. 분석 결과, 환각적인 데이터 해석 및 불완전한 탐색과 같은 주요 실패는 모델 성능과 무관하게 공통적으로 나타나며, 이는 에이전트 아키텍처 자체의 문제임을 시사합니다.

🔑 시사점 및 한계

•

LLM 기반 RCA 에이전트의 실패는 개별 모델의 능력보다는 공유된 에이전트 아키텍처, 특히 환각적 데이터 해석 및 불완전한 탐색과 같은 문제에서 비롯되는 경우가 많습니다.

•

프롬프트 엔지니어링만으로는 이러한 근본적인 문제를 해결하기 어렵기 때문에, 에이전트 간 통신 프로토콜을 개선하는 것이 실패율 감소에 더 효과적입니다.

•

본 연구의 실패 유형 분류 체계와 진단 방법론은 향후 더 신뢰할 수 있는 자율 에이전트 설계의 기반을 제공할 것입니다.

PDF 보기

Made with Slashpage