Crowdsourcing vs. Mobile Network Testing

Zur objektiven Bewertung der Qualität und Performance von Mobilfunknetzen stehen zwei fundamental unterschiedliche Ansätze zur Verfügung: Crowdsourcing und Mobile Network Testing. Der Crowdsourcing-Markt ist stark gesättigt. Mehr als 20 Unternehmen können als Anbieter von Crowdsourcing-Messungen für Mobilfunknetze angeführt werden. Jede Firma setzt dabei auf ihr eigenes Konzept, um Messergebnisse zu erhalten, und jedes Konzept dient einem speziellen Zweck. Diese Application Card beschreibt die Struktur des Crowdsourcing-Markts und analysiert die Vor- und Nachteile beider Ansätze.

Crowdsourcing vs. Mobile Network Testing
Crowdsourcing vs. Mobile Network Testing
/

Ihre Anforderung

Sowohl Mobilfunknetzbetreiber als auch Regulierungsbehörden interessieren sich vermehrt für ausführliche Daten zur Netzqualität und Wettbewerbssituation in bestimmten Märkten. Dieses Interesse ist im Wesentlichen auf drei Motivationen zurückzuführen:

  • Benchmarking– gibt einen Überblick über die relative Performance verschiedener Mobilfunknetze
  • Betriebsoptimierung– verbessert die betriebliche Effizienz für den Netzbetreiber (auch bei Kundendienst, Service Assurance und Netzplanung)
  • Marketing/Customer Experience Management (CEM)– bewertet die Endbenutzererfahrung der Netzqualität

Crowdsourcing und Mobilfunknetztests (Mobile Network Testing, MNT) sind zwei fundamental verschiedene Ansätze, um diesem Anforderungsspektrum gerecht zu werden. Mobilfunknetzbetreiber und Regulierungsbehörden müssen die beiden Konzepte bewerten und ihren Bedürfnissen gegenüberstellen. In dieser Application Card werden die jeweiligen Vor- und Nachteile untersucht.

Lösungsansatz 1: Crowdsourcing

Crowdsourcing-Lösungen lassen sich in drei Kategorien einteilen:

  • Syndication– ermöglicht es unabhängigen Apps, gegen eine finanzielle Vergütung ein Mess-SDK zu integrieren (ähnlich wie bei der Platzierung von In-App-Werbung). Oft wissen die Endbenutzer nicht, dass die Daten im Hintergrund gesammelt und zur weiteren Analyse an einen Cloud-Speicher geschickt werden, was unter Datenschutzgesichtspunkten heikel sein kann.
  • Betreiber-App– bettet ein Mess-SDK in eine App unter der Marke des Betreibers ein
  • Eigene App– platziert eine App unter eigener Marke in App Stores, womit speziell Nutzer angesprochen werden, die sich für die Netzleistung interessieren

Crowdsourcing-Marktsegmentierung nach Unternehmenspositionierung

Crowdsourcing-Marktsegmentierung nach Unternehmenspositionierung
Crowdsourcing-Marktsegmentierung nach Unternehmenspositionierung

Bild 1: Segmentierung von Crowdsourcing-Lösungen nach Anforderungs- und Anwendungskategorie (Beispiele, nicht vollständig).

/
Bild 1: Segmentierung von Crowdsourcing-Lösungen nach Anforderungs- und Anwendungskategorie (Beispiele, nicht vollständig).

Analyse: Crowdsourcing

Vorteile Nachteile
  • Crowdsourcing-Daten werden kontinuierlich und autonom gesammelt, ohne dass spezielle Messkampagnen durchgeführt werden müssen.
  • Riesige Datenmengen ermöglichen eine hochauflösende Analyse. Daten gehen überall dort ein, wo sich die Nutzer aufhalten. Eine vollständige geographische Abdeckung ist dadurch jedoch nicht gewährleistet.
  • Daten zur Mobilfunk-Netzabdeckung und Qualität können für eine ganze Region oder ein Land gewonnen werden.
  • Die Ermittlung der Mobilfunkstandorte, Gegenden und Betreiber mit dem stärksten Datenverkehr kann Erkenntnisse für die Planung neuer Standorte oder Kapazitätserweiterungen liefern.
  • Ermöglicht eine Analyse der Nutzung des verfügbaren Spektrums in verschiedenen geographischen Gebieten.
  • Riesige Datenmengen können nach verschiedenen Kriterien (Betreiber, Ort, Zeit usw.) gefiltert und für Drill-Down-Analysen verwendet werden.
  • Die Bedingungen der Crowdsourcing-Datenerhebung sind unvorhersehbar und bleiben in der Regel auch unbekannt:
    • Temperatur: Ein Smartphone in der Tasche des Benutzers wird auf Körpertemperatur erwärmt, und parallel laufende Anwendungen können ebenfalls zur Erwärmung des Geräts führen
    • Ort: Smartphone im Keller oder im 1. oder 10. oder 20. Stock eines Gebäudes
    • Geräteabhängigkeit: Bei älteren Telefonen mit rückständiger Technik, die seit langem in Gebrauch sind, kann die Messung der Netzleistung durch mangelnde Gerätefunktionalität verfälscht werden
    • Datenplan des Kunden: Das Datenvolumen kann verbraucht und der Durchsatz durch das Netz gedrosselt werden
  • Die Messungen sind nicht reproduzierbar (die Crowdsourcing-Analyse kann wiederholt oder mit einem neueren Datensatz durchgeführt werden, aber sie kann nicht reproduziert werden). Wenn ein erfasstes Ereignis zweifelhaft ist, ist keine Reproduktion zum Zweck der Validierung möglich.
  • Crowdsourcing-Daten können nicht zur Netzoptimierung verwendet werden. Begrenzte oder keine Informationen über die Ursachen.
  • Crowdsourcing-Lösungen verfolgen meist einen proprietären Ansatz mit einer nicht offengelegten Bewertungsmethode für die Ergebnisse. Die Punktzahlen oder Ergebnisse verschiedener Lösungen sind nicht miteinander vergleichbar.
  • Crowdsourcing-Lösungen beschränken ihre aktiven Tests in der Regel auf die folgenden Qualitäts-KPIs: UL/DL-Durchsatz, durchschnittliche Latenz, durchschnittlicher Jitter und Paketverlust.
  • Die Smartphone-Betriebssysteme werden jedoch immer restriktiver und limitieren die Parameter, auf die Crowdsourcing-Apps (die im Hintergrund laufen) zurückgreifen können.
  • Die Daten dedizierter Crowdsourcing-Apps leiden in der Regel unter einem negativen Bias (da insbesondere technisch kundige Teilnehmer diese Tests gerne dann starten, wenn ein Netzproblem auftritt).

Lösungsansatz 2: Mobile Network Testing

Drive- und Walk-Tests sind spezifische Testkonzepte für Mobilfunknetze. Spezielle Smartphones (kommerzielle Endgeräte) und Netzwerkscanner werden in einem kontrollierten Testaufbau (Temperaturkontrolle und HF-Abschirmung soweit möglich) verwendet und führen eine Reihe von Testfällen durch, die das Endbenutzerverhalten simulieren. Sprachdienste (Telefonie) und Datendienste (Datenübertragung, Video-Streaming, soziale Medien und Web) sind die am häufigsten genutzten Dienste und machen den größten Teil des Verkehrsaufkommens in Mobilfunknetzen aus.

ETSI TR 103 559 beschreibt Best Practices für robuste QoS-Benchmark-Tests und -Bewertungen. Der technische Bericht liefert Empfehlungen zur Prüfung der Qualität von Mobilfunknetzen auf Grundlage der Endbenutzerwahrnehmung.

Der Network Performance Score von Rohde & Schwarz stellt eine Umsetzung des ETSI-Verfahrens dar.

Anwendungen werden nach den folgenden drei Kategorien getestet:

  • Erreichbarkeit– Dienstverfügbarkeit, z. B. abreißende Funkverbindungen
  • Wartezeit– Verbindungsaufbauzeit
  • Medienqualität– Bildqualität oder Sprachqualität

Die Ergebnisse werden auf eine Punkteskala abgebildet, und es wird eine Gesamtbewertung abgeleitet, welche die Qualitätserfahrung der Endbenutzer widerspiegelt (ein gestreamtes Video, das nicht gestartet werden kann, wiegt dabei beispielsweise schwerer als eine geringfügig schlechtere Videoqualität und erhält demzufolge eine höhere Gewichtung).

Weitere Details und Erläuterungen finden Sie unter:
www.rohde-schwarz.com/nps

Testkampagne auf der Autobahn

Testkampagne auf der Autobahn
Testkampagne auf der Autobahn

Bild 2: Der Network Performance Score (NPS) von Rohde & Schwarz deckt die gesamte Bandbreite der Endbenutzeranwendungen ab.

/
Bild 2: Der Network Performance Score (NPS) von Rohde & Schwarz deckt die gesamte Bandbreite der Endbenutzeranwendungen ab.

Analyse: Mobile Network Testing

Vorteile Nachteile
  • Die Datenerhebung erfolgt unter definierten Bedingungen und in einem kontrollierten Testaufbau (Temperatur, HF-Abschirmung). Es ist immer bekannt, unter welchen Bedingungen die Daten erfasst werden (im Freien, im Innenbereich, Messgeräteposition, Temperatur usw.).
  • Die Messkampagnen werden mit den neuesten Smartphones und Gerätefunktionen geplant, womit sichergestellt ist, dass die Leistungsmessung nicht durch technische Mängel beeinträchtigt wird. Zur Gesamtbeurteilung der Netzqualität tragen alle Anwendungen bei, die bei den Teilnehmern im Hintergrund laufen.
  • Aufgrund der Verwendung definierter und harmonisierter Testmethoden sind Mobilfunknetztests vergleichbar und reproduzierbar
  • Die Messkampagnen sind klar definiert (Routen, Teams, Zeiten, Messaufbauten usw.) und können nach 3, 6 oder 12 Monaten problemlos wiederholt werden, um die Leistungsverbesserung im Laufe der Zeit zu bestimmen.
  • Der Testumfang ist wesentlich größer als beim Crowdsourcing. Professionelle Mobilfunknetz-Testlösungen können auch fortgeschrittene Metriken wie die mittlere Beurteilungsnote (Mean Opinion Score, MOS) für Sprach- und Videoinhalte berechnen.
  • Der auf dem ETSI-Verfahren basierende Network Performance Score liefert aufgrund des standardisierten Mess- und Scoring-Ansatzes Erkenntnisse für die Netzoptimierung. Alle Details sind für weitere Analysen verfügbar. Wenn Probleme gemeldet werden, kann zur Fehlersuche auf den Kontext (HF-Bedingungen, detaillierte L3-Meldungen vom Netz und den Anwendungen) zurückgegriffen werden.
  • Da das harmonisierte Testverfahren die Vergleichbarkeit gewährleistet, können Mobilfunktests zum Vergleich von Open RAN (O-RAN) mit einer RAN-Architektur eines einzelnen Anbieters verwendet werden.
  • Es bestehen Vereinbarungen mit Herstellern von Mobilgeräten und Chipsätzen, um die Einschränkungen durch restriktive Smartphone-Betriebssysteme zu überwinden.
  • Es müssen gezielte Messkampagnen geplant und durchgeführt werden, was Aufwand bedeutet. Die Kampagnen sind im Vergleich zu Crowdsourcing zeitintensiv und teuer (auch wenn die Crowdsourcing-Berichte ebenfalls nicht kostenlos sind).
  • Netzleistungsergebnisse sind nur für Gebiete verfügbar, in denen auch Daten erfasst wurden. Eine Versorgungskarte für ein ganzes Land ist mit Mobilfunknetztests aus praktischen Gründen kaum realisierbar.

Empfehlungen

Die Analyse und der Vergleich der Vor- und Nachteile beider Ansätze macht deutlich, dass Crowdsourcing und Mobile Network Testing einander ergänzen können und nicht in Konkurrenz zueinander stehen, da jedes Konzept seine eigenen Stärken hat.

Je nach Zielsetzung oder Anforderung eignet sich der eine oder andere Ansatz besser. Hier sind einige Beispiele:

  • Benchmarking der Netzqualität/Ranking der Betreibernetze in einem Land:Für einen groben Überblick können Crowdsourcing-Daten ausreichend sein. Wenn man jedoch einen fairen Vergleich anstellen und belastbare Schlussfolgerungen ziehen will, ist ein Testverfahren für Mobilfunknetze wie dasjenige von ETSI TR 103 559, das die Vergleichbarkeit gewährleistet, stark zu empfehlen.
  • Versorgungskarte für ein ganzes Land:Wenn eine Versorgungskarte für ein ganzes Land erstellt werden soll, ist Crowdsourcing die beste Lösung. Grundlegende HF-Daten wie die Referenzsignal-Empfangsleistung (RSRP) sind in den meisten Fällen ausreichend, obwohl in der Europäischen Konferenz der Verwaltungen für Post und Telekommunikation (CEPT) derzeit Diskussionen laufen mit Ziel, den Begriff „Versorgung“ neu zu definieren, insbesondere im Hinblick auf das 5G-Beamforming. Mobilfunknetztests können nicht ein ganzes Land mit jeder einzelnen Straße in jeder Stadt, jeder Gemeinde und jedem Dorf zu vertretbaren Kosten abdecken.
  • Netzoptimierung: Wenn die Netzoptimierung auf belastbaren Daten basieren soll, müssen die erhobenen Daten zuverlässig, unter bekannten, definierten Bedingungen erfasst und reproduzierbar sein. Die Daten müssen auch mit Kontext (HF-Bedingungen, detaillierte L3-Meldungen vom Netz und den Anwendungen) verfügbar sein, um den Abgleich identifizierter Probleme mit RAN-Ereignissen zu ermöglichen, damit die Grundursachen für diese Probleme identifiziert werden können. Nur Mobilfunknetztests erfüllen diese Anforderungen – den Crowdsourcing-Daten fehlt der relevante Kontext.
  • Analyse der Netzauslastung:Zur Ermittlung von Standorten oder geografischen Gebieten mit hoher Daten- und Spektrumauslastung ist Crowdsourcing eine praktikable Lösung, da Massendaten analysiert werden können und die Zuverlässigkeit der Daten für diesen Zweck nicht entscheidend ist.
  • Crowdsourcing kann eine gute Ergänzung zu einer traditionellen Messfahrt sein:Das Crowdsourcing kann etwa verwendet werden, um Bereiche mit schlechter Versorgung oder Netzwerkproblemen zu ermitteln. Anschließend können Drive-Test-Teams zur Datenerfassung entsandt werden. Crowdsourcing kann bei der Planung nationaler Benchmarking-Kampagnen (z. B. NPS-Kampagnen) helfen und etwa Informationen darüber liefern, ob eine Kampagnenroute tatsächlich die relevanten Teile des Landes abdeckt.

Weitere Informationen

Für weitere Informationen über die Testlösungen zum Benchmarken von Mobilfunknetzen, die in dieser Application Card erwähnt werden, setzen Sie sich bitte mit Ihrem Rohde & Schwarz-Vertriebspartner in Verbindung oder besuchen Sie unsere Website:
www.rohde-schwarz.com/mnt/network-benchmarking

Download