クラウドソーシングとモバイルネットワークテストの比較

モバイルネットワークの品質と性能を客観的に評価するため、クラウドソーシングとモバイルネットワークテストという本質的に異なる2つの方法が広く利用されるようになっています。クラウドソーシング市場は飽和状態で、 20社を超える企業がクラウドソーシングによるモバイルネットワーク測定に特化した取り組みを行っています。測定を行う際には、目的に合わせて異なるコンセプトが使用されます。このアプリケーションカードでは、クラウドソーシング領域の構造について説明し、これらの2つの方法の長所と短所について詳しく解説します。

クラウドソーシングとモバイルネットワークテストの比較
クラウドソーシングとモバイルネットワークテストの比較
/

課題

移動体通信事業者（モバイルネットワークオペレーター）や監督機関では、特定の市場でのネットワークの品質や競合状況を詳細に把握することへの関心が高まっています。これは、以下の3つのニーズが主な要因になっています。

  • ベンチマーク– さまざまなモバイルネットワークの相対的性能を観察する。
  • 運用の最適化– ネットワークオペレーターの運用効率を改善する（カスタマーサービス、サービス保証、ネットワークエンジニアリングを含む）。
  • マーケティング/カスタマーエクスペリエンス管理（CEM）– ネットワーク品質のエンドユーザー体感を評価する。

クラウドソーシングとモバイルネットワークテスト（MNT）はいずれもこれらのニーズに対処するためのものですが、この2つは本質的に異なります。モバイルネットワークオペレーターや監督機関は、これらの2つの方法を評価し、それぞれのニーズに合わせて使用する必要があります。このアプリケーションカードでは、これらの2つのコンセプトの長所と短所について詳細に検討します。

クラウドソーシングソリューション

クラウドソーシングソリューションは、以下の3つのカテゴリーに分類できます。

  • シンジケーション– 金銭報酬を得るため関係のないアプリに測定SDKを組み込めるようにします（アプリ内広告に類似）。多くの場合、エンドユーザーはバックグランドでデータが収集され、分析を行うためにクラウドストレージに送付されていることを知らされていないため、法的にグレーゾーンの可能性があります。
  • オペレーターアプリ– オペレーターブランドアプリに測定SDKを組み込みます。
  • 独自アプリ– アプリストアでネットワーク性能に関心を持っているユーザー向けにブランドアプリを提供します。

企業の位置付けに基づいたクラウドソーシングの市場区分

企業の位置付けに基づいたクラウドソーシングの市場区分
企業の位置付けに基づいたクラウドソーシングの市場区分

図1：ニーズとアプリケーションカテゴリーによるクラウドソーシングソリューションの市場区分（すべてを網羅している訳ではありません）。

/
図1：ニーズとアプリケーションカテゴリーによるクラウドソーシングソリューションの市場区分（すべてを網羅している訳ではありません）。

クラウドソーシングの分析

長所 短所
  • クラウドソーシングデータの収集は、専用の測定キャンペーンを実施することなく、継続的かつ自律的に行われます。
  • 大量のデータを利用して高精度な解析を行うことができます。ユーザーのいるあらゆる場所のデータを取得できます。ただし、あらゆる地域を完全にカバーできる訳ではありません。
  • モバイルネットワークのカバレッジと品質に関する統計データは、1つの国または地域内で利用できます。
  • データトラフィックの多いサイト、場所、オペレーターを特定し、この情報を新しいサイトのプランニングや容量拡大に利用できます。
  • さまざまな地域における利用可能なスペクトラムの使用状況を把握できます。
  • 大量のデータをフィルタリングし、さまざまな基準に従ってドリルダウン分析を行うことができます（オペレーター、場所、時間など）。
  • 次のように、クラウドソーシングでのデータ収集条件は予測不能で、ほとんどの場合不明です。
    • 温度：ユーザーのポケットに入っているスマートフォンは体温で温められ、同時に実行中のアプリケーションによる熱も発生。
    • 場所：スマートフォンは住宅の地下、1階、10階、または20階に存在している可能性がある。
    • 機器依存：長期間使用されているUE機能に制限のある古いスマートフォン – ネットワーク性能測定がUE機能の影響を受ける可能性がある。
    • ユーザーの契約プラン：利用できるデータボリュームを使い果たし、ネットワークによってスループットが絞られる可能性がある。
  • 測定に再現性がありません（クラウドソーシングでの解析は繰り返し実施したり、新しいデータセットで実施することはできますが、再現性がありません）。報告された結果に異論がある場合に、再現して検証を行うことができません。
  • クラウドソーシングデータは、ネットワークの最適化には使用できません。根本原因に関する情報は、ほとんど得られません。
  • クラウドソーシングソリューションは、独自の方式を用いている場合がほとんどで、結果のスコアリング方法は開示されていません。別々のソリューションのスコアや結果を比較することはできません。
  • クラウドソーシングソリューションでは通常、アクティブテストはUL/DLスループット、平均遅延、平均ジッタ、パケット損失の品質KPIのみに制限されます。
  • スマートフォンのオペレーティングシステムは規制が厳しくなり、（バックグランドで実行される）クラウドソーシングアプリで使用できるパラメータが制限されています。
  • 専用のクラウドソーシングアプリでは、概して実態より悪い結果が得られます（技術に詳しい加入者が、ネットワークに問題が起きているときにこれらのテストを起動するためです）。

モバイルネットワークテストソリューション

ドライブテストとウォークテストは、専用のモバイルネットワークテストの概念です。可能な限り制御されたテストセットアップ（温度およびRFシールド）で専用のスマートフォン（市販のUE）とネットワークスキャナーを使用し、エンドユーザーの行動を反映した一連のテストケースを実行します。音声サービス（電話）とデータサービス（データ転送、ビデオストリーミング、ソーシャルメディア、ウェブブラウジング）は最もよく使用されるサービスで、モバイルネットワークのトラフィック量の大半を占めます。

ETSI TR 103 559には、信頼性の高いQoSベンチマークテストとスコアリングのためのベストプラクティスが記載されています。このテクニカルレポートには、エンドユーザーの感じ方に基づいてモバイルネットワークの品質をテストする方法に関する推奨事項が記載されています。

ローデ・シュワルツのネットワーク性能スコアは、このETSIの方法に基づいています。

以下の3つのカテゴリーに沿ってアプリケーションをテストします。

  • 利用しやすさ– サービスの可用性（通信の切断など）
  • 待ち時間– 呼設定時間
  • メディア品質– 画像品質または音声品質

これらの結果は点数化され、エンドユーザーが感じる品質を反映した合計スコアが生成されます（ストリーミングビデオを起動できないのは、ビデオ品質がわずかに低下するよりも深刻度が高いため、重み付けが大きくなります）。

詳細な説明については、以下のURLをご覧ください。
www.rohde-schwarz.com/nps

高速道路のテストキャンペーン

高速道路のテストキャンペーン
高速道路のテストキャンペーン

図2：ローデ・シュワルツのネットワーク性能スコア（NPS）は、あらゆるエンドユーザーアプリケーションをカバーしています。

/
図2：ローデ・シュワルツのネットワーク性能スコア（NPS）は、あらゆるエンドユーザーアプリケーションをカバーしています。

モバイルネットワークテストの分析

長所 短所
  • 定義された条件のもとで、制御されたテストセットアップ（温度、RFシールド）でデータが収集されます。どのような条件下でデータが収集されているかを常に把握できます（屋外、屋内、測定機器の位置、温度など）。
  • 性能測定がUE機能の不足の影響を受けないようにするため、測定キャンペーンは最新のスマートフォンとUE機能を用いてプランニングされます。加入者がバックグランドで実行しているアプリケーションはすべてネットワーク品質の総合評価に寄与します。
  • 定義された統一テスト手法を使用しているため、比較可能で再現性のあるモバイルネットワークテストを行うことができます。
  • 測定キャンペーンが明確に定義されているため（ルート、チーム、時間、測定セットアップなど）、3/6/12か月後に繰り返し測定を行い、その後の性能の改善状況を評価することができます。
  • テスト範囲は、クラウドソーシングよりもはるかに広範囲です。プロフェッショナルなモバイルネットワークテストソリューションでは、音声およびビデオコンテンツの平均オピニオンスコア（MOS）などの高度な指標を算出することもできます。
  • ETSIの方法を用いたネットワーク性能スコアでは、測定およびスコアリングの方法が標準化されているため、ネットワークの最適化に役立つ情報を得ることができます。詳細情報を利用して、詳しい解析を行うことができます。問題が報告された場合は、トラブルシューティングを行うためのコンテキスト（RF条件、ネットワークとアプリケーションからの詳細なL3メッセージ）が利用できます。
  • 統一テスト手法を使用していて比較可能であるため、オープンRAN（O-RAN）と単一ベンダーのRANアーキテクチャーを比較するのにモバイルネットワークテストを使用できます。
  • 規制の厳しいスマートフォンのオペレーティングシステムの制限に対処するため、モバイルデバイスおよびチップセットメーカーと協定を結んでいます。
  • 専用の測定キャンペーンをプランニングして実施するのには労力を要します。専用の測定キャンペーンは、クラウドソーシングよりも時間とコストがかかります（クラウドソーシングレポートも無償では利用できません）。
  • ネットワーク性能の測定結果は、データの収集を行った地域でのみ利用できます。モバイルネットワークテストでは、全国規模のカバレッジマップを効率的に作成することはできません。

提言

2つの方法の長所と短所についての分析と比較から、クラウドソーシングとモバイルネットワークテストは競合関係にあるというよりも相補的なものであり、どちらか一方だけですべてのニーズに対応できる訳ではないことがわかります。

対象やニーズに応じて、クラウドソーシングの方が優れている場合もあれば、モバイルネットワークテストの方が優れている場合もあります。以下に例を示します。

  • 国内のネットワークオペレーターのネットワーク品質ベンチマーク/ランキング：大まかに状況を把握するだけであれば、クラウドソーシングデータで十分かもしれません。ただし、公正な比較を行い、信頼できる結論を得る必要がある場合は、モバイルネットワークテスト用のETSI TR 103 559のような比較可能なテスト方法を用いることを強くお勧めします。
  • 全国のカバレッジマップ：全国のカバレッジマップを作成する必要がある場合は、クラウドソーシングが最適なソリューションです。ほとんどの場合は、基準信号受信パワー（RSRP）などの基本的なRFデータで十分ですが、欧州郵便電気通信主管庁会議（CEPT）では、5Gのビームフォーミングを考慮して、「カバレッジ」という用語を定義し直すための検討を行っています。モバイルネットワークテストを使って、無理のないコストで、すべての市区町村のすべての住所を含めた全国をカバーすることはできません。
  • ネットワークの最適化：データに基づいてネットワークの最適化を行う場合は、データが収集された条件が明確で、収集されたデータが信頼性の高い再現性のあるものでなければなりません。また、このデータでは、見つかった問題をRANイベントと照合して問題の根本原因を特定できるようにするため、コンテキスト（RF条件、ネットワークとアプリケーションからの詳細なL3メッセージ）が利用できる必要があります。これらの要件を満たすのはモバイルネットワークテストだけで、クラウドソーシングデータでは、このようなコンテキストは利用できません。
  • ネットワーク利用状況分析：データ使用量やスペクトラム使用量の多い場所や地域を特定する場合は、大量データの解析が可能で、データの信頼性がそれほど重要ではないため、クラウドソーシングが有効なソリューションになります。
  • クラウドソーシングは従来のドライブテストを補完するのに有効：クラウドソーシングは、カバレッジが不足しているエリアやネットワークに問題のあるエリアを検出するのに使用できます。その後、ドライブテストチームを派遣してデータを収集できます。クラウドソーシングは、全国的なベンチマークキャンペーン（NPSキャンペーンなど）を正当化するのに役立ち、キャンペーンプランニングやルートプランニングなどでキャンペーンが国内の必要な部分をカバーしているかどうかを確認するのに利用できます。

その他の情報

このアプリケーションカードで取り上げたベンチマーク用のモバイルネットワークテストソリューションの詳細については、ローデ・シュワルツの営業所に問い合わせるか、当社ウェブサイトをご覧ください。
www.rohde-schwarz.com/mnt/network-benchmarking

ダウンロード