Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Relier la qualité d'expérience subjective et objective : agrégation au niveau de l'opérateur à l'aide de l'analyse des commentaires basée sur LLM et de la comparaison des MOS du réseau

Created by
  • Haebom

Auteur

Parsa Hassani Shariat Panahi, Amir Hossein Jalilvand, M. Hassan Najafi

Contour

Cet article présente un cadre double couche pour l'évaluation de la qualité d'expérience (QoE) côté opérateur réseau. Ce cadre intègre une modélisation objective du réseau et des perceptions subjectives des utilisateurs extraites des plateformes de streaming en temps réel. Du côté objectif, nous développons un modèle d'apprentissage automatique entraîné sur le score d'opinion moyen (MOS) calculé à l'aide de l'implémentation de référence ITU-T P.1203. Il permet de prédire avec précision la qualité vidéo perçue par l'utilisateur en utilisant uniquement des paramètres réseau tels que la perte de paquets, le délai, la gigue et le débit, sans dépendre du contenu vidéo ni de l'instrumentation côté client. Du côté subjectif, nous présentons un pipeline de filtrage et de notation sémantique qui traite les commentaires des utilisateurs dans les flux en temps réel afin d'en extraire des informations sur les performances. Nous attribuons des scores MOS scalaires aux commentaires filtrés de manière déterministe et reproductible à l'aide d'un modèle de langage à grande échelle. Afin de permettre une analyse évolutive et interprétable, nous avons construit un ensemble de données étiquetées de 47 894 commentaires de flux en temps réel, dont environ 34 000 sont identifiés comme liés à la QoE grâce à un filtrage sémantique multicouche. Chaque avis est enrichi d'attributs simulés de fournisseurs d'accès à Internet (FAI) et aligné temporellement à l'aide d'horodatages synthétiques à intervalles de 5 minutes. L'ensemble de données obtenu permet une agrégation au niveau de l'opérateur et une analyse chronologique de la qualité perçue par les utilisateurs. Une métrique delta MOS est proposée, mesurant l'écart du sentiment de chaque FAI à l'échelle de la plateforme, permettant ainsi de détecter les dégradations de performances locales, même en l'absence de télémétrie réseau directe. Des simulations de pannes contrôlées vérifient l'efficacité du cadre pour identifier les pannes en se basant uniquement sur les tendances basées sur les opinions. Le système fournit à chaque opérateur son propre MOS subjectif et une moyenne globale de la plateforme basée sur des intervalles, permettant une interprétation en temps réel des écarts de performances et une comparaison avec les estimations objectives de la QoE basées sur le réseau.

Takeaways, Limitations

Takeaways:
Les opérateurs de réseau peuvent évaluer plus précisément la qualité d’expérience en intégrant des données de réseau objectives avec des commentaires subjectifs des utilisateurs.
Exploitez les commentaires des utilisateurs provenant de plateformes de streaming en temps réel pour détecter et réagir à la dégradation des performances du réseau en temps réel.
La mesure Delta MOS peut vous aider à identifier les écarts de performances entre des FAI spécifiques et à résoudre les problèmes locaux.
Exploitez de grands ensembles de données pour effectuer des analyses QoE évolutives et interprétables.
Limitations:
La subjectivité et la fiabilité des avis des utilisateurs doivent être vérifiées.
La précision des propriétés ISP simulées et des horodatages synthétiques doit être revue.
Des recherches supplémentaires sont nécessaires pour explorer la généralisabilité sur différentes plateformes de streaming en temps réel et environnements réseau.
Les biais dans les modèles linguistiques à grande échelle peuvent affecter les résultats.
👍