Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Une architecture en couches pour l'analyse des journaux dans les systèmes informatiques complexes

Created by
  • Haebom

Auteur

Thorsten Wittkopp

Contour

Cet article présente une méthodologie d'analyse de logs basée sur une architecture à trois niveaux afin de garantir la stabilité et la fiabilité du système pour les équipes DevOps. Le premier niveau, « Investigation des logs », effectue l'étiquetage automatique des logs et la classification des anomalies. Il propose une méthode d'étiquetage des données de logs et un système de classification qui catégorise les anomalies en trois catégories, permettant un apprentissage supervisé sans intervention manuelle. Le deuxième niveau, « Détection des anomalies », détecte les comportements anormaux et propose une méthode flexible de détection des anomalies applicable à l'apprentissage supervisé, semi-supervisé et non supervisé. Les résultats d'évaluation sur des ensembles de données publics et industriels démontrent une grande précision, avec un score F1 compris entre 0,98 et 1,0. Le troisième niveau, « Analyse des causes profondes », identifie l'ensemble minimal de logs expliquant les défaillances du système, la cause de la défaillance et la séquence des événements. En équilibrant les données d'apprentissage et en identifiant les services clés, la méthode détecte systématiquement 90 à 98 % des lignes de logs de causes profondes parmi les 10 principaux candidats, fournissant ainsi des informations exploitables pour la résolution des problèmes. En intégrant ces trois couches, les équipes DevOps disposent d’un moyen puissant d’améliorer la fiabilité de leurs systèmes informatiques.

Takeaways, Limitations_

Takeaways:
Présentation d'une architecture d'analyse de journaux efficace qui contribue à améliorer la stabilité et la fiabilité du système dans un environnement DevOps.
Nous proposons une technique flexible de détection d'anomalies applicable à l'étiquetage automatique des journaux et à diverses méthodes d'apprentissage.
Prend en charge la résolution rapide des problèmes grâce à une analyse précise des causes profondes.
Preuve d'applicabilité aux systèmes réels avec une grande précision (score F1 0,98-1,0 et détection de la ligne de journal des causes profondes à 90-98 %).
Limitations:
Une vérification plus approfondie de l’application de l’architecture proposée aux environnements industriels réels et aux résultats opérationnels à long terme est nécessaire.
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à différents types de données de journaux et d’environnements système.
Des recherches sont nécessaires pour déterminer les biais potentiels dans des secteurs ou des systèmes spécifiques et comment y remédier.
Manque de détails sur l'ensemble de données utilisé.
Manque d’analyse de la complexité informatique et de la consommation des ressources.
👍