Kunlun Anomaly Troubleshooter: Enabling Kernel-Level Anomaly Detection and Causal Reasoning for Large Model Distributed Inference
Created by
Haebom
Category
Empty
저자
Yuyang Liu, Jingjing Cai, Jiayi Ren, Peng Zhou, Danyang Zhang, Yin Du, Shijian Li
개요
본 논문은 대규모 모델 분산 추론(LMDI) 환경에서 발생하는 이상 현상 문제 해결을 위한 프레임워크인 Kunlun Anomaly Troubleshooter (KAT)를 소개합니다. KAT는 GPU 워커의 동기성과 일관성을 활용하여 커널 수준의 이상 현상과 관련 하드웨어 구성 요소를 나노초 단위로 정밀하게 감지하고, 이를 도메인 적응형 LLM에 통합하여 복잡한 이상 현상에 대한 체계적인 인과 관계 추론과 자연어 해석을 제공합니다. Alibaba Cloud Service 환경에서 진행된 평가 결과 KAT는 이상 현상 감지에서 0.884 이상의 정밀도와 0.936 이상의 재현율을 달성했으며, 진단 범위를 좁히고 문제 해결의 효율성과 성공률을 향상시켰습니다.
시사점, 한계점
•
LMDI 환경에서 발생하는 이상 현상 문제 해결을 위한 최초의 프레임워크 제시
•
GPU 워커의 동기성과 일관성을 활용한 커널 수준의 이상 현상 정밀 감지
•
도메인 적응형 LLM을 활용하여 복잡한 이상 현상에 대한 체계적인 인과 관계 추론 및 자연어 해석 제공
•
Alibaba Cloud Service 환경에서의 높은 이상 현상 감지 성능 (정밀도 0.884 이상, 재현율 0.936 이상)
