Lemur: Log Parsing with Entropy Sampling and Chain-of-Thought Merging
Created by
Haebom
저자
Wei Zhang, Xiangyuan Guan, Lu Yunhong, Jie Zhang, Shuangyong Song, Xianfu Cheng, Zhenhe Wu, Zhoujun Li
개요
본 논문은 대규모 소프트웨어 시스템의 로그 분석 자동화를 위한 혁신적인 로그 파싱 프레임워크 LEMUR을 제시합니다. 기존의 로그 파서가 사람이 만든 규칙에 의존하여 올바른 템플릿을 식별하지 못하고 통계적 특징에만 집중하여 로그 메시지의 의미 정보를 무시하는 문제점을 해결하기 위해, 정보 엔트로피에서 영감을 받은 새로운 샘플링 방법과 대규모 언어 모델(LLM)을 위한 사고 연쇄(chain-of-thought) 방법을 제안합니다. 엔트로피 샘플링은 전형적인 로그를 효율적으로 클러스터링하고, 사고 연쇄 방법은 LLM의 의미 이해 능력을 활용하여 매개변수와 불변 토큰을 구별함으로써 로그 템플릿 병합을 개선합니다. 대규모 공개 데이터셋을 사용한 실험 결과, LEMUR은 최첨단 성능과 효율성을 달성함을 보여줍니다. 소스 코드는 깃허브에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
정보 엔트로피 기반 샘플링과 LLM 기반 사고 연쇄 방법을 활용한 혁신적인 로그 파싱 프레임워크 제시.
