Le crowdsourcing face au test de réseaux mobiles

La nécessité d'une évaluation objective de la qualité et de la performance des réseaux mobiles mène à deux approches fondamentalement différentes, le crowdsourcing et le test de réseaux mobiles. Le marché du crowdsourcing est complètement saturé. Plus de 20 entreprises se focalisent sur le crowdsourcing des mesures de réseaux mobiles. Pour obtenir des résultats de mesure, elles utilisent divers concepts qui servent à des fins différentes. Cette carte d'application décrit la structure de l'espace du crowdsourcing et analyse les avantages et les inconvénients des deux approches.

/

Votre tâche

Les opérateurs et régulateurs de réseaux mobiles ont un intérêt croissant dans l'obtention d'informations approfondies en termes de qualité de réseau et de concurrence au sein des marchés spécifiques. Cet intérêt est motivé par trois exigences clés :

Analyse comparative– fournit une vision de la performance relative des différents réseaux mobiles
Optimisation des opérations– améliore l'efficacité opérationnelle pour l'opérateur réseau (y compris le service client, la garantie de service et le développement réseau)
Gestion de l'expérience marketing / client (CEM)– évalue l'expérience de l'utilisateur final en termes de qualité réseau

Le crowdsourcing et le test de réseaux mobiles (MNT) sont deux approches fondamentalement différentes répondant à ces exigences. Les opérateurs et régulateurs de réseaux mobiles ont besoin d'évaluer ces deux approches et de les comparer à leurs besoins. Cette carte d'application analyse les avantages et inconvénients des deux concepts.

La solution de crowdsourcing

Les solutions de crowdsourcing peuvent être regroupées en trois catégories :

La syndication– permet à des applications non liées d'intégrer une mesure SDK pour la compensation monétaire (identique au positionnement de publicités intégrées). Souvent, les utilisateurs finaux ne savent pas que les données sont collectées en arrière-plan et envoyées vers le stockage cloud pour une analyse ultérieure, ce qui peut correspondre à une zone grise juridique.
Application opérateur– intègre une mesure SDK au sein d'une application de l'opérateur
Application propriétaire– place une application propriétaire au sein des magasins d'applications ciblant spécifiquement les utilisateurs intéressés par la performance réseau

Segmentation du marché du crowdsourcing, basé sur le positionnement de l'entreprise

Figure 1 : Segmentation des solutions de crowdsourcing par exigence et catégorie d'application (exemples, non-exhaustifs).

/

Figure 1 : Segmentation des solutions de crowdsourcing par exigence et catégorie d'application (exemples, non-exhaustifs).

Analyses de crowdsourcing

Avantages	Inconvénients
Les données de crowdsourcing sont collectées en continu et de manière autonome sans campagne de mesures dédiée. La grande quantité de données fournit une analyse de très haute résolution. Vous obtenez des données où que les gens soient. Mais cela ne garanti pas une couverture géographique complète. Des statistiques de qualité et de couverture du réseau mobile sont disponibles sur un pays ou une région. L'identification des sites, des emplacements et des opérateurs avec un flux plus élevé de données peut offrir des informations pour de nouvelle planifications de sites ou d'extension de capacité. Fournit une compréhension de la manière dont le spectre disponible est utilisé au sein des différentes zones géographiques. La grande quantité de données peut être filtrée et utilisée pour une analyse approfondie selon divers critères (opérateurs, emplacements, heure, etc.).	Les conditions de collecte des données de crowdsourcing ne sont pas prévisibles et la plupart du temps inconnues : Température : un smartphone dans la poche de l'utilisateur est chauffé par la température du corps; un échauffement relatif aux applications s'effectue en parallèle Emplacement : un smartphone dans un sous-sol ou au 1er ou 10ème ou 20ème étage d'un immeuble Dépendance matérielle : les anciens téléphones avec des capacités UE limitées utilisés sur de longues périodes – la mesure de performance du réseau pourrait être affectée par des capacités UE limitées Plan de trafic personnalisé : le volume de données pourrait être étendue et les débits étranglés par le réseau Les mesures ne sont pas reproductibles (l'analyse crowdsourcing peut être répétée ou effectuée sur un nouvel ensemble de données, mais elle ne peut pas être reproduite). En cas de doute sur un événement reporté, il ne peut pas être reproduit pour la validation. Les données de crowdsourcing ne peuvent pas être utilisées pour l'optimisation réseau. Informations limitées ou inexistantes sur les causes originelles. Les solutions de crowdsourcing suivent généralement une approche propriétaire avec une méthode de notation non divulguée pour les résultats. Les scores ou résultats provenant des différentes solutions ne sont pas compatibles les uns avec les autres. Les solutions de crowdsourcing limitent généralement leurs tests actifs aux KPI de qualité suivants : débit UL/DL, latence moyenne, gigue moyenne et pertes de paquets. Les systèmes d'exploitation des smartphones sont de plus en plus restrictifs et limitent les paramètres disponibles que les applications de crowdsourcing (s'exécutant en arrière-plan) pourraient utiliser. Les applications de crowdsourcing dédiées présentent généralement un bias négatif (les abonnés avertis techniquement déclenche ces tests lorsqu'ils rencontrent un problème réseau).

Avantages

Inconvénients

Les données de crowdsourcing sont collectées en continu et de manière autonome sans campagne de mesures dédiée.
La grande quantité de données fournit une analyse de très haute résolution. Vous obtenez des données où que les gens soient. Mais cela ne garanti pas une couverture géographique complète.
Des statistiques de qualité et de couverture du réseau mobile sont disponibles sur un pays ou une région.
L'identification des sites, des emplacements et des opérateurs avec un flux plus élevé de données peut offrir des informations pour de nouvelle planifications de sites ou d'extension de capacité.
Fournit une compréhension de la manière dont le spectre disponible est utilisé au sein des différentes zones géographiques.
La grande quantité de données peut être filtrée et utilisée pour une analyse approfondie selon divers critères (opérateurs, emplacements, heure, etc.).

Les conditions de collecte des données de crowdsourcing ne sont pas prévisibles et la plupart du temps inconnues :
- Température : un smartphone dans la poche de l'utilisateur est chauffé par la température du corps; un échauffement relatif aux applications s'effectue en parallèle
- Emplacement : un smartphone dans un sous-sol ou au 1er ou 10ème ou 20ème étage d'un immeuble
- Dépendance matérielle : les anciens téléphones avec des capacités UE limitées utilisés sur de longues périodes – la mesure de performance du réseau pourrait être affectée par des capacités UE limitées
- Plan de trafic personnalisé : le volume de données pourrait être étendue et les débits étranglés par le réseau
Les mesures ne sont pas reproductibles (l'analyse crowdsourcing peut être répétée ou effectuée sur un nouvel ensemble de données, mais elle ne peut pas être reproduite). En cas de doute sur un événement reporté, il ne peut pas être reproduit pour la validation.
Les données de crowdsourcing ne peuvent pas être utilisées pour l'optimisation réseau. Informations limitées ou inexistantes sur les causes originelles.
Les solutions de crowdsourcing suivent généralement une approche propriétaire avec une méthode de notation non divulguée pour les résultats. Les scores ou résultats provenant des différentes solutions ne sont pas compatibles les uns avec les autres.
Les solutions de crowdsourcing limitent généralement leurs tests actifs aux KPI de qualité suivants : débit UL/DL, latence moyenne, gigue moyenne et pertes de paquets.
Les systèmes d'exploitation des smartphones sont de plus en plus restrictifs et limitent les paramètres disponibles que les applications de crowdsourcing (s'exécutant en arrière-plan) pourraient utiliser.
Les applications de crowdsourcing dédiées présentent généralement un bias négatif (les abonnés avertis techniquement déclenche ces tests lorsqu'ils rencontrent un problème réseau).

Solution de test de réseaux mobiles

Les tests sur route et piétons sont dédiés aux concepts de test des réseaux mobiles. Des smartphones dédiés (équipements utilisateurs commerciaux) et des scanners de réseaux sont utilisés dans une configuration de test contrôlée (température et blindage RF dans la mesure du possible) et effectuent un ensemble de cas de test reflétant le comportement de l'utilisateur final. Les services voix (téléphonie) et les services de données (transfert de données, streaming vidéo, médias sociaux et navigateur web) sont les services les plus fréquemment utilisés et comptent pour la grande majorité du volume du trafic au sein des réseaux mobiles.

L'ETSI TR 103 559 décrit les meilleures pratiques pour le test et la notation comparatifs de la QoS pour un réseau robuste. Le rapport technique fournit une recommandation sur la manière de tester la qualité des réseaux mobiles en se basant la perception de l'utilisateur final.

Le score de performance réseau de Rohde & Schwarz implémente la méthode ETSI.

Les applications sont testées conformément aux trois catégories suivantes :

Accessibilité– disponibilité du service, par exemple les pertes d'appels
Le temps d'attente– temps de configuration de l'appel
La qualité du média– qualité d'image et qualité de parole

Les résultats sont reportés sur une échelle de points et un score agrégé est généré, reflétant la qualité perçue par l'utilisateur final (un streaming vidéo qui ne peut pas être démarré est plus sévère qu'une légère réduction de la qualité vidéo et reçoit une pondération supérieure).

Pour d'autres détails et explications, voir :
www.rohde-schwarz.com/nps

Campagne de tests sur autoroutes

Figure 2 : Le score de performance réseau de Rohde & Schwarz (NPS) couvre la totalité de la gamme des applications de l'utilisateur final.

/

Figure 2 : Le score de performance réseau de Rohde & Schwarz (NPS) couvre la totalité de la gamme des applications de l'utilisateur final.

Analyse du test de réseaux mobiles

Avantages	Inconvénients
Les données sont collectées dans des conditions définies et dans une configuration de test contrôlée (température, blindage RF). Vous connaissez toujours les conditions sous lesquelles les données sont collectées (en extérieur, en intérieur, la position de l'appareil de mesure, la température, etc.). Les campagnes de mesures sont planifiées avec les derniers smartphones et capacités UE afin de garantir que la mesure de performance ne soit pas impactée par des faiblesses de l'équipement utilisateur. Toutes les applications que les abonnés ont exécuté en arrière-plan contribuent à l'évaluation globale de la qualité réseau. L'utilisation de méthodes de test définies et harmonisées rend le test de réseaux mobiles comparable et reproductible Les campagnes de mesures sont clairement définies (routes, équipes, durées, configurations de mesure, etc.) et peuvent être facilement répétées après 3, 6 ou 12 mois pour mesurer l'amélioration de la performance dans le temps. La portée du test est plus large par rapport au crowdsourcing. Les solutions de test de réseaux mobiles professionnelles peuvent également calculer des mesures avancées telles que le score d'opinion moyen (MOS) pour les contenus voix et vidéo. Le score de performance réseau utilisant la méthode ETSI fournit des informations pour l'optimisation du réseau du fait de la mesure standardisée et de l'approche par notation. Tous les détails sont disponibles pour une analyse ultérieure. Lorsque des problèmes sont reportés, le contexte est disponible (conditions RF, messages L3 détaillés du réseau et des applications) à des fins de dépannage. Sa comparabilité, du fait de la méthode de test harmonisée, signifie que le test de réseaux mobiles peut être utilisé pour comparer l'Open RAN (O-RAN) avec une architecture RAN d'un vendeur unique. Les accords avec les fabricants d'appareils mobiles et de puces sont en place pour surmonter la limitation des systèmes d'exploitation restrictifs des smartphones.	Des campagnes de mesures dédiées doivent être planifiées et exécutées, ce qui nécessite un effort. Elles sont chronophages et coûteuses par rapport au crowdsourcing (bien que les rapports de crowdsourcing ne soient également pas disponibles gratuitement). Les résultats de la performance réseau sont uniquement disponibles pour les zones où les données ont été collectées. Une couverture pour un pays entier ne peut pas être créé efficacement en se basant sur le test de réseaux mobiles .

Avantages

Inconvénients

Les données sont collectées dans des conditions définies et dans une configuration de test contrôlée (température, blindage RF). Vous connaissez toujours les conditions sous lesquelles les données sont collectées (en extérieur, en intérieur, la position de l'appareil de mesure, la température, etc.).
Les campagnes de mesures sont planifiées avec les derniers smartphones et capacités UE afin de garantir que la mesure de performance ne soit pas impactée par des faiblesses de l'équipement utilisateur. Toutes les applications que les abonnés ont exécuté en arrière-plan contribuent à l'évaluation globale de la qualité réseau.
L'utilisation de méthodes de test définies et harmonisées rend le test de réseaux mobiles comparable et reproductible
Les campagnes de mesures sont clairement définies (routes, équipes, durées, configurations de mesure, etc.) et peuvent être facilement répétées après 3, 6 ou 12 mois pour mesurer l'amélioration de la performance dans le temps.
La portée du test est plus large par rapport au crowdsourcing. Les solutions de test de réseaux mobiles professionnelles peuvent également calculer des mesures avancées telles que le score d'opinion moyen (MOS) pour les contenus voix et vidéo.
Le score de performance réseau utilisant la méthode ETSI fournit des informations pour l'optimisation du réseau du fait de la mesure standardisée et de l'approche par notation. Tous les détails sont disponibles pour une analyse ultérieure. Lorsque des problèmes sont reportés, le contexte est disponible (conditions RF, messages L3 détaillés du réseau et des applications) à des fins de dépannage.
Sa comparabilité, du fait de la méthode de test harmonisée, signifie que le test de réseaux mobiles peut être utilisé pour comparer l'Open RAN (O-RAN) avec une architecture RAN d'un vendeur unique.
Les accords avec les fabricants d'appareils mobiles et de puces sont en place pour surmonter la limitation des systèmes d'exploitation restrictifs des smartphones.

Des campagnes de mesures dédiées doivent être planifiées et exécutées, ce qui nécessite un effort. Elles sont chronophages et coûteuses par rapport au crowdsourcing (bien que les rapports de crowdsourcing ne soient également pas disponibles gratuitement).
Les résultats de la performance réseau sont uniquement disponibles pour les zones où les données ont été collectées. Une couverture pour un pays entier ne peut pas être créé efficacement en se basant sur le test de réseaux mobiles .

Recommandations

L'analyse et la comparaison des avantages et inconvénients des deux approches montre que le crowdsourcing et le test de réseaux mobiles sont plus complémentaires que concurrentes et que l'une ne pourra jamais remplacer l'autre.

Selon la cible ou le besoin, une approche a des avantages par rapport à l'autre. En voici quelques exemples :

Comparaison / classement de la qualité réseau des opérateurs dans un pays :Pour un aperçu global, les données de crowdsourcing pourraient suffire. Mais si l'objectif est d'effectuer une comparaison équitable et d'en tirer des conclusions solides, une méthode de test comparable telle que l'ETSI TR 103 559 pour le test de réseaux mobiles est vivement recommandée.
Couverture d'un pays entier :Si l'objectif est la couverture d'un pays entier, le crowdsourcing est la meilleure solution. Des données RF de base telles que la puissance reçue du signal de référence (RSRP) sont suffisantes dans la plupart des cas, alors que des discussions sont en cours à la conférence européenne des administrations postales et des télécommunications (CEPT) afin de redéfinir le terme “couverture”, en particulier à la lumière de la formation de faisceaux de la 5G. Le test de réseaux mobiles ne peut pas couvrir un pays en entier avec chaque rue de chaque ville, de chaque village à un coût raisonnable.
Optimisation réseau : Si l'optimisation réseau est basée sur les données, les données collectées doivent être fiables, collectées dans des conditions définies et connues, et être reproductibles. Les données doivent également être disponibles selon le contexte (conditions RF, détaillées dans les messages L3 des réseaux et applications) afin de répondre aux problèmes identifiés avec des événements RAN pour que les causes originelles de ces problèmes puissent être identifiées. Seul le test de réseaux mobiles répond à ces exigences, alors que les données de crowdsourcing ne fournissent pas ce contexte.
Analyse de l'utilisation du réseau :Afin d'identifier des emplacements ou des zones géographiques ayant une utilisation de données ou du spectre élevée, le crowdsourcing est une solution viable car la grande quantité de données peut être analysée et la fiabilité des données n'est pas critique à cette fin.
Le crowdsourcing peut être un bon complément à un test sur route traditionnel :Le crowdsourcing peut être utilisé pour détecter des zones avec des problèmes de faible couverture ou réseau. Les équipes du test sur route peuvent alors être déployées pour collecter les données. Le crowdsourcing peut aider à justifier des campagnes de comparaison nationales (par exemple des campagnes NPS), telles que des campagnes et des planification sur route afin de déterminer si une campagne couvre réellement les parties pertinentes du pays.

Informations complémentaires

Pour plus d'informations sur les solutions de test de réseaux mobiles à des fins d'études comparatives évoquées dans cette carte d'application, veuillez contacter votre représentant Rohde & Schwarz ou visitez notre site internet :
www.rohde-schwarz.com/mnt/network-benchmarking

Téléchargements