Video Quality Monitor

Solution de mesure/surveillance de qualité vidéo perçue “sans référence”, “paramétrique” et “hybride”

PDF Fiche technique de Video Quality Monitor (2 pages, en anglais)

Video Quality Monitor (VQM) est la solution la plus précise et la plus souple pour mesurer et surveiller la qualité vidéo perçue par les utilisateurs finaux (aussi appelée QoE: Quality of Experience).

VQM produit des notes de qualité vidéo perçue exprimées sur une échelle MOS (Mean Opinion Score). Les métriques de qualité vidéo perçue intégrées dans VQM sont dédiées aux formats d'encodage vidéo MPEG-2 et MPEG-4/AVC (H.264). Ces métriques de qualité vidéo ont été optimisées pour produire des notes de qualité hautement corrélées avec des jugements humains recueillis lors de tests subjectifs d'évaluation de qualité réalisés dans des conditions d'observation normalisées (ITU BT.500 et ITU BT.710).

VQM permet :

  • la mesure de qualité vidéo perçue de fichiers vidéo, sans référence
  • la surveillance (en anglais: monitoring) en temps réel de la qualité vidéo perçue d'une source en direct (live), sans référence
  • la mesure d'effet de blocs (en anglais: blockiness ou blocking effect), de flou (en anglais: blur ou blurring), de contraste, de gel d'images(en anglais: jerkiness ou image freezing), de débit
  • la détection de perte de signal audio ou vidéo
  • la mesure et la surveillance de l'intensité sonore (loudness) conformément aux recommandations internationales ITU BS 1770-2 et EBU R128
  • le test et la validation de décodeurs vidéo (Set Top Box)
  • la surveillance de processus d'encodage basés fichiers (ex: encodage pour la VOD)
  • la qualification et comparaison de caméras vidéo grâce à la métrique de bruit de caméra

Pour la surveillance d'encodage basé fichier (ex: encodage pour la VOD): VQM peut traiter plusieurs fichiers en parralèle. Ceci est particulièrement intéressant pour traiter un nombre important de fichiers (en utilisant le Watch Folder par exemple). VQM peut même tester la "décodabilité" audio et vidéo à la vitesse de 40x (sur un simple PC) et compter le nombre d'échantillons audio et de frames vidéo décodées. Et si ces valeurs sont différentes des valeurs attendues (en se basant sur les informations de l'en-tête du fichier), VQM peut vous envoyer des alertes.

VQM est un produit logiciel. Il fonctionne sous Windows (XP, Vista, Seven) et est facile à installer (surtout si vous souhaitez uniquement utiliser les métriques sans référence, dans ce cas il vous suffit de lancer le fichier d'installation et de cliquer sur "Next..." plusieurs fois). VQM peut fonctionner sur virtuellement n'importe quel PC. VQM peut même fonctionner sur un PC portable. Si possible, la configuration recommandée est: CPU 4 coeurs, 3 Go de RAM, 10 Go d'espace disque disponible.

Démarrage de VQM

Au démarrage, VQM affiche une fenêtre montrant un cadre de prévisualisation de la vidéo testée (la vidéo que l'on souhaite mesurer). Pour commencer à utiliser VQM, vous allez généralement utiliser le "mode offline", cliquer sur le bouton "Browse..." (Parcourir) afin de sélectionner un fichier vidéo et de le charger.

Mais VQM peut aussi mesurer en temps réel la qualité d'une vidéo capturée en direct: c'est le "mode online". Dans ce cas, VQM peut traiter l'audio et la vidéo à partir d'un flux en streaming sur IP ou à partir de cartes de capture audio vidéo (comme des cartes Blackmagic Design par exemple).

VQM prend en charge les formats d'encodage MPEG-2 et MPEG-4/AVC (H.264) et les conteneurs les plus utilisés: AVI, TS, MP4, PS, ES, etc...

Capture #1 de Video Quality Monitor

Chargement des vidéos

Capture #2 de Video Quality Monitor

Lorsqu'une vidéo est chargée, sa première image est affichée. Les paramètres de ses flux vidéo et audio sont également affichés: codec, dimensions des images (frames), cadence temporelle (frame rate), nombre de frames, durée, fréquence d'échantillonnage audio, durée audio, etc.

Pour le monitoring en temps réel, le mode "online" permet de choisir la source entre flux IP et péripériques/cartes de capture reconnues par DirectShow..

L'interface graphique de VQM affiche également beaucoup d'autres informations durant la mesure. En fait, tous les paramètres dont vous pourriez avoir besoin sont affichés et peuvent être modifiés.

Mesurer la qualité vidéo perçue

Durant la mesure de qualité vidéo, plusieurs fenêtres peuvent être affichées: frame de la vidéo mesurée, courbes de qualité et courbe de débit vidéo.

En parallèle de la mesure de qualité, le débit vidéo instantané est également mesuré pour chaque frame.

La phase de mesure de qualité utilise le multithreading. Donc plus avez de coeurs CPU, plus VQM travaille rapidement.

Capture #3 de Video Quality Monitor

Serveur web

Capture #4 de Video Quality Monitor

Lorsque vous avez fait cela (sélection d'une métrique de qualité, chargement d'une vidéo, lancement de la mesure de qualité et attente jusqu'à ce qu'elle se termine), la note de qualité vidéo perçue est affichée, exprimée en MOS (la signification des valeurs MOS est complètement expliquée dans l'aide). C'est bien mais le meilleur reste à venir...

VQM inclut son propre serveur web. Pas besoin d'installer un serveur séparé (comme Apache): le serveur web de VQM est déjà complètement intégré à l'application.

Ce serveur web vous permet de vous connecter de n'importe où et d'obtenir les résultats de mesure, des statistiques, des courbes et même des rapports d'analyse de qualité (dans plusieurs formats, dont le format HTML afin de vous permettre de le copier/coller ou de le charger dans votre traitement de texte préféré, comme Microsoft Word par exemple).

Résultats

Pour les résultats de mesure "offline": Dans le menu principal, le choix le plus fréquemment utilisé affiche la liste des vidéos traitées. Dans cette liste, chaque vidéo est représentée par un numéro unique, sa campagne de test, (qui permet de regrouper plusieurs résultats), son nom de fichier, son chemin complet, la description de ses flux vidéo et audio (codec, dimensions, frame rate, durée, etc...), sa note de qualité et des statistiques sur la qualité (min, max, écart-type).

Pour chaque vidéo, plusieurs liens permettent d'afficher:

  • les courbes de qualité
  • la courbe de débit
  • les courbes d'effet de bloc, de flou, de contraste, de gel d'image et de bruit
  • .

D'autres liens permettent de dessiner différentes représentations de la qualité perçue en fonction du débit ou d'afficher les images caractéristiques. Enfin, des liens permettent de générer des rapports d'analyse de qualité vidéo perçue dans des formats variés (CSV, TXT, HTML).

Pour les résultats de surveillance "online": Les résultats (courbes de qualité, de débit, d'effet de bloc, de flou, de contraste et de gel d'image) peuvent être dessinées entre deux dates et heures choisies par l'utilisateur. Les courbes peuvent aussi être dessinées en temps réel, permettant de voir à distance l'activité de surveillance de VQM.

Capture #5 de Video Quality Monitor

Courbes

Capture #6 de Video Quality Monitor

Dans l'interface web, toutes les courbes sont interactives: si vous cliquez sur un point de la courbe, cela placera ce point au centre de la courbe et zoomera d'un facteur 2. Et si vous tracez une zone pour sélectionner une portion de la courbe, cela zoomera sur cette sélection. Si la frame correspondant au centre de la courbe est une frame caractéristique, alors cette frame sera affichée sous la courbe.

Vous pouvez aussi obtenir des représentations graphiques de la qualité perçue en fonction du débit. Ceci vous permet de déterminer le débit qui est nécessaire pour obtenir un niveau de qualité donné.

Audio

VQM peut aussi mesurer:

  • l'intensité sonore (loudness) conformément aux recommandations internationales ITU BS 1770-2 et EBU R128
  • la qualité audio (basée sur les ruptures de signal audio et sur les silences)
  • le débit audio

Comme les mesures sont effectuées sur les signaux décodés, VQM prend en charge les principaux formats audio. Pour utiliser un format particulier, il vous suffit d'installer le décodeur approprié.

Dans l'interface principale, un bouton permet de remettre à zéro le compteur de ruptures de signal audio.

Capture #7 de Video Quality Monitor

Loudness

Screenshot #8 of Video Quality Monitor

VQM peut mesurer l'intensité sonore (loudness) conformément aux recommandations internationales ITU BS 1770-2 et EBU R128. Cette mesure d'intensité sonore calcule 5 valeurs différentes :

  • Momentary loudness (notée "M" dans le "mode EBU"): valeur instantée de l'intensité sonore.
  • Short term loudness (notée "S" dans le "mode EBU"): valeur moyenne de l'intensité sonore sur 3 secondes
  • Medium term loudness: valeur moyenne de l'intensité sonore sur 15 secondes
  • Gated loudness: valeur moyenne de l'intensité sonore sur 15 secondes, en ignorant les valeurs qui sont sous deux seuils (le premier seuil est absolu et égal à -70 LKFS, le second seuil est relatif et égal à la moyenne des valeurs d'intensité sonore restantes après le premier seuillage moins 10 LKFS).
  • Integrated loudness (notée "I" dans le "mode EBU"): valeur moyenne de l'intensité sonore sur toute la durée du signal audio.

L'intensité sonore peut être calculée à la fois dans le mode "online" et dans le mode "offline". Ceci permet de surveiller (monitoring) l'intensité sonore en temps réel mais aussi de mesurer l'intensité sonore à partir de signaux capturés (comme des enregistrements audio vidéo).

Comme les autres données mesurées, toutes les valeurs d'intensité sonore mesurées sont sauvées et peuvent être retrouvées grâce à l'interface web.

VQM peut aussi déclencher des alertes si l'intensité sonore est supérieure à seuil défini par l'utilisateur.

Enfin, les durées d'intégration pour les mesures "short term", "medium term" et "gated" peuvent être modifiées par l'utilisateur (même si les valeurs proposées par l'EBU sont recommandées).

Scripts et support de l'infra-rouge

VQM permet également d'exécuter des scripts et d'apprendre puis envoyer des codes infra-rouges. Ceci permet de contrôler des décodeurs (Set Top Box) afin de tester/valider des Set Top Box ou de surveiller un ensemble de chaînes TV en les traitant à tour de rôle.

Chaque script contient des actions permettant de contrôler les 40 fonctions les plus courantes de VQM. Parmi ces fonctions, l'utilisateur peut envoyer des codes infra-rouge préalablement appris.

L'exécution de scripts est disponible à la fois pour les modes online et offline. Un script peut même mélanger ces deux modes: durant le mode online, quand une vidéo en direct est capturée, les images peuvent êtres sauvées dans un fichier. Puis, le fichier enregistré peut être mesuré dans le mode offline.

Screenshot #9 of Video Quality Monitor

Autres caractéristiques

Capture #10 de Video Quality Monitor

VQM contient beaucoup d'autres atouts, parmi lesquels:

  • Gestionnaire de Tâches: quand vous cliquez sur un bouton, vous ne faites pas directement une action mais en réalité vous ajoutez une tâche dans une file d'attente. Ceci vous permet de continuer à charger des fichiers et les mesurer, même si VQM travaille déjà.
  • Watch Folder: il permet de détecter chaque fichier apparaissant (copié ou déplacé) dans un dossier (ou dans ses sous-dossiers). Quand un fichier est détecté, sa mesure de qualité est lancée. Le Watch Folder permet de surveiller un processus d'encodage basé fichier en utilisant VQM (pour la VOD, par exemple).
  • Méthodes d'automatisation: pour faciliter l'utilisation de VQM avec un nombre important de fichiers, VQM peut charger des scripts et être utilisé en ligne de commande (avec des arguments).
  • Loupe: pour explorer l'image au niveau pixel et voir les valeurs de Y, U et V pour chaque pixel, une loupe est disponible. Cette fenêtre montre le contenu de l'image dans le voisinage de la position du curseur de souris.

Conclusion

Grâce à ses métriques de qualité évoluées, sachant à la fois opérer en mode offline et en mode online (temps réel) et pouvant contrôler un décodeur (Set Top Box) grâce à l'envoi de codes infra-rouges, VQM est définitivement la solution de référence pour la mesure et la surveillance de qualité vidéo sans référence! Très flexible, VQM saura s'adapter pour répondre à vos besoins de mesure et de surveillance de qualité vidéo perçue. Demandez une version d'évaluation dès aujourd'hui!

Si vous êtes intéressé(e) par VQM mais si vous n'avez qu'un besoin ponctuel ou si vous n'avez pas les ressources humaines nécessaires pour utiliser pleinement une licence, merci de noter que nous proposons aussi des prestations de service basées sur l'utilisation de VQM.

PDF Fiche technique de Video Quality Monitor (2 pages, en anglais)