Le crowdsourcing face au test de réseaux mobiles

La nécessité d'une évaluation objective de la qualité et de la performance de réseaux mobiles mène à deux approches fondamentalement différentes, le crowdsourcing et le test de réseaux mobiles. Le marché du crowdsourcing est complètement saturé. Plus de 20 entreprises se focalisent sur le crowdsourcing des mesures de réseaux mobiles. Pour obtenir des résultats de mesure, elles utilisent divers concepts qui servent à des fins différentes. Cette carte d'application décrit la structure de l'espace du crowdsourcing et analyse les avantages et les inconvénients des deux approches.

Le crowdsourcing face au test de réseaux mobiles
Le crowdsourcing face au test de réseaux mobiles
/

Votre tâche

Les opérateurs et régulateurs de réseaux mobiles ont un intérêt croissant dans l'obtention d'informations approfondies en termes de qualité de réseau et de concurrence au sein des marchés spécifiques. Cet intérêt est motivé par trois exigences clés :

  • Étude comparative (benchmarking) – fournit une vision de la performance relative de différents réseaux mobiles
  • Optimisation des opérations – améliore l'efficacité opérationnelle pour l'opérateur réseau (y compris le service client, l'assurance du service et le développement réseau)
  • Gestion de l'expérience client / Marketing (CEM) – évalue l'expérience de l'utilisateur final relative à la qualité du réseau

Le crowdsourcing et le test de réseaux mobiles (MNT) sont deux approches fondamentalement différentes répondant à ces exigences. Les opérateurs et régulateurs de réseaux mobiles ont besoin d'évaluer ces deux approches et de les comparer à leurs besoins. Cette carte d'application analyse les avantages et inconvénients des deux concepts.

La solution de crowdsourcing

Les solutions de crowdsourcing peuvent être regroupées en trois catégories :

  • Syndication – permet aux applications non associées d'intégrer un SDK (kit de développement système) de mesure pour la compensation monétaire (similaire au placement de publicités dans l’application). Souvent, les utilisateurs finaux ne savent pas que les données sont collectées en arrière-plan et envoyées vers le stockage cloud pour une analyse ultérieure, ce qui peut correspondre à une zone grise juridique.
  • Application opérateur – intègre un SDK de mesure au sein d'une application de marque d'opérateur
  • Application propriétaire – place une application propriétaire au sein de boutiques d'applications ciblant spécifiquement des utilisateurs intéressés par la performance réseau

Segmentation du marché du crowdsourcing, basé sur le positionnement de l'entreprise

Segmentation du marché du crowdsourcing, basé sur le positionnement de l'entreprise
Segmentation du marché du crowdsourcing, basé sur le positionnement de l'entreprise

Figure 1 : Segmentation des solutions de crowdsourcing par exigence et catégorie d'application (exemples, non-exhaustifs).

/
Figure 1 : Segmentation des solutions de crowdsourcing par exigence et catégorie d'application (exemples, non-exhaustifs).

Analyses de crowdsourcing

Avantages
Inconvénients

+ Des données de crowdsourcing sont collectées en continu et de manière autonome sans campagne de mesure dédiée.

+ Une quantité massive de données fournit une analyse de très haute résolution. Vous obtenez des données où que les gens soient. Mais cela ne garanti pas une couverture géographique complète.

+ Une couverture réseau mobile et des statistiques de qualité sont disponibles selon le pays ou la région.

+ Une identification des sites, des lieux et des opérateurs avec un trafic de données plus élevé peut offrir des informations pour une nouvelle planification du site ou étendre la capacité.

+ Fournit une compréhension de la manière dont le spectre disponible est utilisé au sein de différentes zones géographiques.

+ Une quantité importante de données peut être filtrée et utilisée pour une analyse approfondie selon divers critères (opérateurs, localisation, heure, etc.).
- Les conditions de collecte de données de crowdsourcing sont imprévisibles et pour la plupart inconnues :
> Température : un smartphone dans la poche d'un utilisateur chauffe à la température du corps; chauffe relative aux applications fonctionnant en parallèle
> Lieu : un smartphone dans un sous-sol ou au 1er ou au 10ème ou au 20ème étage d'un bâtiment
> Dépendance de l'appareil : les téléphones plus anciens aux capacités limitées utilisés trop longtemps – une mesure de la performance du réseau pourrait être affectée par des capacités limitées
> Plan de trafic client : le volume de données pourrait être étendu et les débits réduits par le réseau

- Les mesures ne sont pas reproductibles (l'analyse crowdsourcing peut être répétée ou effectuée sur un nouvel ensemble de données mais elle ne peut pas être reproduite). En cas de doute sur un événement reporté, il ne peut pas être reproduit pour la validation.

- Les données de crowdsourcing ne peuvent pas être utilisées pour l'optimisation réseau. Informations limitées ou inexistantes sur les causes originelles.

- Les solutions de crowdsourcing suivent pour la plupart une approche propriétaire avec une méthode de notation non divulguée pour les résultats. Les scores ou résultats provenant des différentes solutions ne sont pas compatibles les uns avec les autres.

- Les solutions de crowdsourcing limitent généralement leurs tests actifs aux KPI de qualité suivants : débit UL/DL, latence moyenne, gigue moyenne et pertes de paquets.

- Les systèmes d'exploitation de smartphone sont de plus en plus restrictifs et limitent les paramètres disponibles que les applications de crowdsourcing (fonctionnant en arrière plan) pourraient utiliser.

- Les applications de crowdsourcing dédiées présentent généralement un bias négatif (les abonnés techniquement avertis en particulier déclenchent ces tests lorsqu’ils rencontrent un problème de réseau.

Solution de test de réseaux mobiles

Les tests sur route et piétons sont dédiés aux concepts de test des réseaux mobiles. Des smartphones dédiés (équipements utilisateurs commerciaux) et des scanners de réseaux sont utilisés dans une configuration de test contrôlée (température et blindage RF dans la mesure du possible) et effectuent un ensemble de cas de test reflétant le comportement de l'utilisateur final. Les services voix (téléphonie) et les services de données (transfert de données, streaming vidéo, médias sociaux et navigateur web) sont les services les plus fréquemment utilisés et comptent pour la grande majorité du volume du trafic au sein des réseaux mobiles.

L'ETSI TR 103 559 décrit les meilleures pratiques pour le test et la notation comparatifs de la QoS pour un réseau robuste. Le rapport technique fournit une recommandation sur la manière de tester la qualité des réseaux mobiles en se basant la perception de l'utilisateur final.

Le score de performance réseau de Rohde & Schwarz implémente la méthode ETSI.

Les applications sont testées conformément aux trois catégories suivantes :

  • Accessibilité – disponibilité de service, par exemple les pertes d'appels
  • Temps d'attente – établissement de l'appel
  • Qualité média – qualité d'image ou qualité vocale

Les résultats sont reportés sur une échelle de points et un score agrégé est généré, reflétant la qualité perçue par l'utilisateur final (un streaming vidéo qui ne peut pas être démarré est plus sévère qu'une légère réduction de la qualité vidéo et reçoit une pondération supérieure).

Pour plus d’informations et d'explications, allez sur :
www.rohde-schwarz.com/nps

Campagne de tests sur autoroutes

Campagne de tests sur autoroutes
Campagne de tests sur autoroutes

Figure 2 : Le score de performance réseau de Rohde & Schwarz (NPS) couvre la totalité de la gamme des applications de l'utilisateur final.

/
Figure 2 : Le score de performance réseau de Rohde & Schwarz (NPS) couvre la totalité de la gamme des applications de l'utilisateur final.

Analyse du test de réseaux mobiles

Avantages Inconvénients
  • Les données sont collectées dans des conditions définies et dans une configuration de test contrôlée (température, blindage RF). Vous connaissez toujours les conditions sous lesquelles les données sont collectées (en extérieur, en intérieur, la position de l'appareil de mesure, la température, etc.).
  • Les campagnes de mesures sont planifiées avec les derniers smartphones et capacités UE afin de garantir que la mesure de performance ne soit pas impactée par des faiblesses de l'équipement utilisateur. Toutes les applications que les abonnés ont exécuté en arrière-plan contribuent à l'évaluation globale de la qualité réseau.
  • L'utilisation de méthodes de test définies et harmonisées rend le test de réseaux mobiles comparable et reproductible
  • Les campagnes de mesures sont clairement définies (routes, équipes, durées, configurations de mesure, etc.) et peuvent être facilement répétées après 3, 6 ou 12 mois pour mesurer l'amélioration de la performance dans le temps.
  • La portée du test est plus large par rapport au crowdsourcing. Les solutions de test de réseaux mobiles professionnelles peuvent également calculer des mesures avancées telles que le score d'opinion moyen (MOS) pour les contenus voix et vidéo.
  • Le score de performance réseau utilisant la méthode ETSI fournit des informations pour l'optimisation du réseau du fait de la mesure standardisée et de l'approche par notation. Tous les détails sont disponibles pour une analyse ultérieure. Lorsque des problèmes sont reportés, le contexte est disponible (conditions RF, messages L3 détaillés du réseau et des applications) à des fins de dépannage.
  • Sa comparabilité, du fait de la méthode de test harmonisée, signifie que le test de réseaux mobiles peut être utilisé pour comparer l'Open RAN (O-RAN) avec une architecture RAN d'un vendeur unique.
  • Les accords avec les fabricants d'appareils mobiles et de puces sont en place pour surmonter la limitation des systèmes d'exploitation restrictifs des smartphones.
  • Des campagnes de mesures dédiées doivent être planifiées et exécutées, ce qui nécessite un effort. Elles sont chronophages et coûteuses par rapport au crowdsourcing (bien que les rapports de crowdsourcing ne soient également pas disponibles gratuitement).
  • Les résultats de la performance réseau sont uniquement disponibles pour les zones où les données ont été collectées. Une couverture pour un pays entier ne peut pas être créé efficacement en se basant sur le test de réseaux mobiles .

Recommandations

L'analyse et la comparaison des avantages et inconvénients des deux approches montre que le crowdsourcing et le test de réseaux mobiles sont plus complémentaires que concurrentes et que l'une ne pourra jamais remplacer l'autre.

Selon la cible ou le besoin, une approche a des avantages par rapport à l'autre. En voici quelques exemples :

  • Analyse comparative / classement de la qualité des réseaux d’opérateurs dans un pays : Pour une vue d’ensemble approximative, les données de crowdsourcing pourraient suffire. Mais si l'objectif est d'effectuer une comparaison équitable et d'en tirer des conclusions solides, une méthode de test comparable telle que l'ETSI TR 103 559 pour le test de réseaux mobiles est vivement recommandée.
  • Carte de couverture d’un pays entier : Si une carte de couverture pour l’ensemble d’un pays est l’objectif, le crowdsourcing est la meilleure solution. Des données RF de base telles que la puissance reçue du signal de référence (RSRP) sont suffisantes dans la plupart des cas, alors que des discussions sont en cours à la conférence européenne des administrations postales et des télécommunications (CEPT) afin de redéfinir le terme “couverture”, en particulier à la lumière de la formation de faisceaux de la 5G. Le test de réseaux mobiles ne peut pas couvrir un pays en entier avec chaque rue de chaque ville, de chaque village à un coût raisonnable.
  • Optimisation réseau : Si l'optimisation réseau doit être basée sur les données, les données collectées doivent être fiables, collectées dans des conditions connues définies et être reproductibles. Les données doivent également être disponibles selon le contexte (conditions RF, détaillées dans les messages L3 des réseaux et applications) afin de répondre aux problèmes identifiés avec des événements RAN pour que les causes originelles de ces problèmes puissent être identifiées. Seul le test de réseaux mobiles répond à ces exigences, alors que les données de crowdsourcing ne fournissent pas ce contexte.
  • Analyse de l'utilisation réseau : Afin d'identifier les lieux ou zones géographiques avec une utilisation de spectre et de données élevée, le crowdsourcing est une solution viable car les données de masse peuvent être analysées et la fiabilité des données n'est pas essentielle à cette fin.
  • Le crowdsourcing peut s'avérer être un bon complément au test conduit traditionnel : Le crowdsourcing peut être utilisé pour détecter des zones avec une faible couverture ou des problèmes réseau. Les équipes du test sur route peuvent alors être déployées pour collecter les données. Le crowdsourcing peut aider à justifier des campagnes de comparaison nationales (par exemple des campagnes NPS), telles que des campagnes et des planification sur route afin de déterminer si une campagne couvre réellement les parties pertinentes du pays.

Informations complémentaires

Pour plus d'informations sur les solutions de test de réseaux mobiles pour une étude comparative évoquée dans cette carte d'application, veuillez contacter votre représentant Rohde & Schwarz ou visitez notre site internet :
www.rohde-schwarz.com/mnt/network-benchmarking

Téléchargements

Demander des informations

Do you have questions or need additional information? Simply fill out this form and we will get right back to you.
For service/support requests, please go here to log in or register.

Marketing de permission

Votre demande a bien été envoyée ! Nous vous contacterons dans les plus brefs délais.
An error is occurred, please try it again later.