Première publication le 29 avril 2005
Objectif
L’objectif est d’évaluer la disponibilité et la performance de la qualité perçue des services de téléphonie grand public, délivrées par les principaux fournisseurs d’accès Internet sur les accès haut-débit.
Le but final est d’apporter un comparatif objectif à travers l’indice ip-label permettant :
– de contribuer à l’amélioration de la qualité perçue des services,
– d’apporter un éclairage supplémentaire en termes d’aide à la décision.
Principes de base du benchmark
Fidèles à notre stratégie de donner la vision réelle end user, nous avons choisi de tester plusieurs types d’appel vers des serveurs de références et d’en moyenner les performances.
L’outil de test (Datametrie VoIP) réalise des contrôles réguliers à deux niveaux :
– un contrôle des aspects qualité vocale,
– un contrôle des aspects réseaux et d’aptitude de celui-ci à transporter la voix.
Eligibilité des fournisseurs d’accès à Internet
Les fournisseurs d’accès à Internet retenus pour participer à ce benchmark doivent répondre aux critères suivants :
– avoir une offre de VoIP disponible sur l’ensemble du territoire métropolitain.
Environnement de mesures
Machines
Les machines effectuant les tests sont des machines sous OS Windows équipés d’un outil de mesures simulant un appel téléphonique et des flux de type RTP.
Accès
Les machines réalisant les mesures sont connectées au réseau à partir de l’équipement modems mis à disposition du client par le fournisseur d’accès à Internet. Ceux-ci sont raccordés au lien haut débit mis à disposition
par le fournisseur d’accès à Internet dans le cadre de son offre de service générique ADSL et Voix.
Séquence de référence
La séquence de référence analysée pour déterminer l’indice de la qualité vocale est un message vocal réalisé sur la base de voix humaines et comportant quatre locuteurs différents (2 femmes et 2 hommes). Le taux
d’activité vocale est de l’ordre de 60 %. Ce message est d’une durée de 11 secondes, et l’ensemble de l’indice de qualité vocale porte sur cette durée. Conformément aux préconisations ITU, le message est encodé sur 16 bits.
Endroits
Les mesures sont effectuées depuis Paris (11e arrondissement) et Marseille (15e arrondissement).
Types de tests réalisés
1/ Test de disponibilité du service
Chaque test unitaire consiste à établir un appel à partir d’un agent ip-label vers un serveur vocal situé sur le Réseau téléphonique commuté et qui va délivrer un message de référence. Ce message est alors enregistré par
l’agent puis analysé pour en déduire la qualité de la transmission et la qualité vocale.L’ indicateur retenu pour établir le classement est le suivant :
– Indicateur de disponibilité = taux de réussite de l’acheminement, du décroché et le statut de corrélation vocale avec le message de référence attendu (%).2/ Test de performance d’acheminement jusqu’au décroché
La performance d’acheminement jusqu’au décroché correspond au temps écoulé entre la fin de la numérotation par l’appelant et le décroché par l’appelé. Il traduit ainsi la capacité du fournisseur à prendre en charge dans un délai acceptable
un appel vers le réseau général.
Dans ces tests, un répondeur commun à tous les FAI est paramétré pour répondre systématiquement a un même moment pour tous les appels reçus.
– Indicateur de performance d’acheminement jusqu’au décroché = Temps de décroché (Ia).3/ Test de qualité vocale
A l’issue de l’enregistrement de la séquence reçue, un algorithme de qualité vocale normalisée sous le nom de PESQ est appliqué au signal. Il permet de calculer un indicateur de qualité vocale :
– Indicateur de qualité vocale = Evaluation de la qualité perçue de la voix = MOS PESQ soit (Iv).
Nota : ce test fournit un indice de qualité dans un seul des sens de la communication.4/ Test de la partie Réseau
Chaque test unitaire consiste à déclencher une session d’envoi de trames RTP à partir d’un agent ip-label vers un serveur de références situé sur le réseau Internet. Pour assurer la fiabilité et la robustesse des tests, deux
sessions RTP consécutives sont émises vers les deux serveurs de références ip-label situés sur les réseaux Colt et MCI. La conformité de la séquence émise avec la séquence reçue est contrôlée.
Ce test permet de qualifier l’aptitude du réseau IP à transporter la voix. Les valeurs permettant la construction de l’indicateur de qualité Voix sont principalement la latence, la gigue, les pertes de paquets, sur la base
du type de codec retenu par le fournisseur d’accès à Internet dans son équipement Modem.
L’ indicateur retenu pour établir le classement est le suivant :
– Indicateur de qualité réseau = MOS E.Model
Nota : Le calcul s’applique sur chacun des sens de la communication.Fréquence de mesureLa fréquence d’appel de l’agent ip-label est fixée à 60 minutes, 24h/24 7j/7 (soit 168 mesures par semaine/fournisseur d’accès Internet). Les fournisseurs d’accès à Internet sont invités à
communiquer à ip-label les horaires de maintenance éventuellement prévus sur les plates-formes voix pour une prise en compte dans la planification des mesures.
Principe de classement
Le classement est réalisé sur les mesures des sept (7) derniers jours, de manière à avoir un indicateur de type hebdomadaire.L’indicateur de disponibilité (Id)
Une note sur 100 points a été retenue pour la disponibilité. L’indicateur de disponibilité représente le ratio entre le nombre d’essais validés sans anomalies majeures et le nombre d’appels effectués sur la période.
On retiendra ici le taux de disponibilité sous la forme d’une valeur de 0 à 100. Soit :
– V, le nombre de tests ayant été validés sans anomalie majeure,
– T, le nombre total de tests effectués.
L’indicateur de disponibilité Id est calculé de la manière suivante : Id = V/TL’indicateur de Performance d’acheminement jusqu’au décroché (Ia)
Une note sur 100 points a été retenue pour la performance d’acheminement jusqu’au décroché. Dans le cas de ces mesures, la performance est la valeur du temps de décroché du serveur vocal ramené à un indice 100.
Le seuil haut (100 pts) est inférieur ou égal à 15 s et le seuil bas (0 pt) à partir de 20 s.L’indicateur de qualité vocale (Iv)
Une note sur 100 points a été retenue pour la qualité vocale. Dans le cas de ces mesures, la performance est la valeur du MOS PESQ obtenue lors du test de service téléphonique ramené à un indice 100.L’indicateur de qualité du réseau (Ir)
Une note sur 100 points a été retenue pour la qualité réseau. Dans le cas de ces mesures, la performance est la valeur du MOS E.Model obtenue lors du test réseau ramené à un indice 100.Notation globale
La note globale du fournisseur d’accès à Internet est réalisée sur un indicateur composite de 100 pts. Les poids des coefficients sont de 50 % pour l’indicateur de disponibilité du service, de 25 % pour la
qualité vocale, de 15 % pour la qualité réseau et de 10 % pour la performance d’acheminement.Le calcul de la note globale (IPLAB voix)
La note affectée au fournisseur d’accès à Internet dans le classement a donc été obtenue à partir du calcul d’une note finale sur 100 pondérée de la façon suivante :
Note finale = 50% x Disponibilité (Id) + 25% x Qualité Vocale (Iv) + 15% x Qualité Réseau (Ir) + 10% x performance d’acheminement jusqu’au décroché (Ia)L’indice a été calculé en agrégeant les trois indicateurs ci-dessus. A chaque indicateur est affecté un coefficient permettant de moduler son influence dans l’indice complet :
– Cd : coefficient de l’indicateur de disponibilité du service Id
– Cv : coefficient de l’indicateur de Qualité vocale Iv
– Cr : coefficient de l’indicateur de Qualité réseau Ir
– Ca : coefficient de l’indicateur de Performance d’acheminement jusquau décroché IaLe calcul de l’indice IP-Label ‘ IPLAB voix ‘ est donc :
IP Lab Voix = [(Id x Cd) + (Iv x Cv) + ( Ir x Cr)] + (Ia x Ca) / (Cd + Cv + Cr + Ca)
Classement à trois mois
Un classement agrégeant les mesures sur les trois derniers mois permet de classer les fournisseurs de service voix sur le marché grand public sur une période plus longue et de dessiner les tendances qualitatives observées sur le marché
Entreprises.
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
