Краудсорсинг или испытания сетей мобильной связи?

Ввиду необходимости объективной оценки качества и характеристик сетей мобильной связи существуют два принципиально разных подхода: краудсорсинг и испытания сетей мобильной связи. Рынок краудсорсинга значительно насыщен. Более 20 компаний оказывают существенное влияние на измерения сетей мобильной связи путем краудсорсинга. Для получения результатов измерений они применяют различные концепции с различными конечными целями. В этом руководстве по применению описывается структура пространства для краудсорсинга, а также анализируются преимущества и недостатки обоих подходов.

Краудсорсинг или испытания сетей мобильной связи?
Краудсорсинг или испытания сетей мобильной связи?
/

Измерительная задача

Операторы сетей мобильной связи и регулирующие органы всё активнее заинтересованы в получении подробных сведений о качестве сетей и конкуренции на определенных рынках. Их интерес обусловлен тремя основными требованиями:

  • Сравнительный анализ— обеспечивает сравнение характеристик различных сетей мобильной связи.
  • Оптимизация операций— повышает эффективность работы оператора сетей (включая обслуживание клиентов, обеспечение гарантированного качества услуг и проектирование сетей).
  • Маркетинг и управление потребительским опытом (CEM)— позволяет анализировать восприятие качества сетей с точки зрения конечных потребителей.

Краудсорсинг и испытания сетей мобильной связи (MNT) — это два кардинально разных подхода к удовлетворению перечисленных выше требований. Операторы сетей мобильной связи и регулирующие органы нуждаются в возможности сравнения этих двух подходов и их сопоставления с конкретными потребностями. В этом руководстве по применению рассматриваются преимущества и недостатки обеих концепций.

Решение на основе краудсорсинга

Решения на основе краудсорсинга разделяются на три категории:

  • Агрегирование— набор средств измерения за дополнительную плату встраивается в сторонние мобильные приложения (по аналогии со встроенной рекламой в приложениях). Зачастую конечные пользователи не знают о том, что в фоновом режиме собираются данные, которые затем отправляются в облачное хранилище в целях дальнейшего анализа, что может вызывать вопросы касательно легальности этих действий.
  • Приложение оператора— набор средств измерения встраивается в мобильное приложение оператора.
  • Собственное приложение— специализированное приложение размещается во всех магазинах мобильных приложений и предлагается для пользователей, заинтересованных в измерении характеристик сети.

Сегментация рынка краудсорсинга в зависимости от позиции компании

Сегментация рынка краудсорсинга в зависимости от позиции компании
Сегментация рынка краудсорсинга в зависимости от позиции компании

Рис. 1: Сегментация решений краудсорсинга в зависимости от требований и категории приложения (примеры, возможны другие варианты).

/
Рис. 1: Сегментация решений краудсорсинга в зависимости от требований и категории приложения (примеры, возможны другие варианты).

Анализ краудсорсинга

Преимущества Недостатки
  • Сбор данных в рамках краудсорсинга осуществляется непрерывно и автономно без необходимости запуска специальной измерительной кампании.
  • Огромный объем данных обеспечивает очень высокое разрешение анализа. Данные поступают от людей, находящихся в самых различных точках. Однако это не гарантирует полное географическое покрытие.
  • Статистика покрытия и качества сетей мобильной связи доступна в масштабах страны или региона.
  • Выявление объектов, пунктов и операторов с наивысшим трафиком данных может помочь в планировании новых объектов или расширении имеющихся ресурсов.
  • Получение сведений об использовании доступного спектра в различных географических областях.
  • Огромный объем данных можно фильтровать и использовать в целях более глубокого анализа согласно различным критериям (операторы, местоположение, время и пр.).
  • Условия сбора данных в рамках краудсорсинга непредсказуемы и в значительной степени неизвестны:
    • Температура: смартфон в кармане пользователя нагревается до температуры тела и дополнительно нагревается ввиду запущенных приложений.
    • Местоположение: смартфон может находиться на 1-м, 10-м или 20-м этаже здания.
    • Тип устройства: старые модели смартфонов с ограниченными техническими возможностями используются в течение длительного времени — качество измерений характеристик сети может снижаться.
    • Тарифный план пользователя: максимальный объем данных может быть израсходован, и скорость передачи может быть урезана.
  • Для измерений отсутствует возможность воспроизведения (анализ краудсорсинга можно повторить или выполнить с новым набором данных, однако его невозможно воспроизвести). При наличии спорного события его нельзя воспроизвести в целях проверки.
  • Данные краудсорсинга нельзя использовать в целях оптимизации сетей. Сведения об основных причинах отсутствуют или ограничены.
  • Решения на основе краудсорсинга, как правило, имеют внутреннюю концепцию с секретным методом оценки результатов. Сравнение баллов или результатов от различных решений невозможно.
  • Активные тесты в решениях краудсорсинга, как правило, ограничиваются следующими ключевыми показателями эффективности: пропускная способность нисходящего и восходящего канала, средняя задержка, средний джиттер и потери пакетов.
  • Мобильные операционные системы становятся все более строгими и ограничивают параметры, доступные для приложений краудсорсинга, работающих в фоновом режиме.
  • Специальные приложения краудсорсинга зачастую имеют плохую репутацию (технически продвинутые пользователи отключают тесты, если имеются перебои в работе сети).

Решение на основе испытаний сетей мобильной связи

Специально для испытаний сетей мобильной связи были разработаны концепции измерений методом обхода и объезда. В контролируемой схеме испытаний (по возможности постоянная температура и экранирование ВЧ-помех) используются специальные смартфоны (коммерческое пользовательское оборудование) и сканеры сетей для исполнения серии тестовых сценариев, отражающих поведение конечных пользователей. Сервисы передачи речи (телефония) и данных (обмен данными, потоковая трансляция видео, социальные сети и просмотр сайтов в интернете) являются наиболее часто используемыми сервисами, на которые приходится наибольшая доля трафика в сетях мобильной связи.

В документе ETSI TR 103 559 описываются передовые методы сравнительного анализа сетей и подсчета общего балла для качества обслуживания. Технический отчет содержит рекомендации по проведению испытаний качества в сетях мобильной связи на основе восприятия конечными потребителями.

Принятый в компании Rohde & Schwarz индекс рабочих характеристик сети разработан на основе методики ETSI.

Для приложений проводятся испытания в следующих трех категориях:

  • Доступность— доступность сервиса, например, количество сброшенных вызовов.
  • Время ожидания— время установления вызова.
  • Качество передачи— качество изображения или речи.

Результаты отображаются на бальной шкале, и рассчитывается общий балл, отражающий уровень качества с точки зрения конечных потребителей (невозможность запуска потоковой трансляции видео рассматривается как более серьезный недостаток и поэтому получает более высокий балл, чем слегка ухудшенное качество изображения).

Более подробная информация представлена по адресу:
www.rohde-schwarz.com/nps

Испытательная кампания вдоль автомагистралей

Испытательная кампания вдоль автомагистралей
Испытательная кампания вдоль автомагистралей

Рис. 2: Индекс рабочих характеристик сети (NPS) от Rohde & Schwarz охватывает полный спектр приложений конечных пользователей.

/
Рис. 2: Индекс рабочих характеристик сети (NPS) от Rohde & Schwarz охватывает полный спектр приложений конечных пользователей.

Анализ испытаний сетей мобильной связи

Преимущества Недостатки
  • Сбор данных осуществляется в заданных условиях и в контролируемой схеме испытаний (постоянная температура, экранирование ВЧ-помех). Условия сбора данных всегда известны (внутри или вне помещения, расположение измерительного прибора, температура и т. д.).
  • Измерительные кампании планируются с учетом новейших смартфонов и технических возможностей, чтобы исключить риск искажения результатов измерений ввиду технических недостатков пользовательского оборудования. Все приложения, работающие в фоновом режиме на смартфонах пользователей, вносят вклад в общую оценку качества сети.
  • Благодаря использованию стандартизированных и унифицированных методов испытания сетей мобильной связи становятся сравнимой и воспроизводимой процедурой.
  • Измерительные кампании четко заданы (маршруты, группы, время, схемы измерений и пр.) и могут быть легко повторены 3, 6 или 12 месяцев спустя, чтобы проверить улучшение характеристик со временем.
  • Спектр испытаний намного шире, чем при использовании краудсорсинга. Профессиональные решения для испытаний сетей мобильной связи позволяют также рассчитывать сложные показатели, например, среднюю экспертную оценку (MOS) для передачи речи и видео.
  • Индекс рабочих характеристик сети на основе методики ETSI предоставляет подробные данные для оптимизации сетей благодаря стандартизованному подходу к измерениям и анализу. Все результаты доступны для дальнейшего анализа. При выявлении проблем доступен контекст (ВЧ-обстановка, подробные сообщения L3 от сети и приложений) для поиска и устранения ошибок.
  • Благодаря применению стандартизированной методики испытания сетей мобильной связи можно использовать в целях сравнения сетей радиодоступа Open RAN (O-RAN) с сетями радиодоступа от одного поставщика.
  • Соглашения, заключенные с производителями мобильных устройств и чипсетов, помогают преодолеть ограничения в строгих мобильных операционных системах.
  • Для планирования и проведения специальных измерительных кампаний требуются соответствующие усилия. Это означает высокие затраты времени и денежных средств по сравнению с краудсорсингом (несмотря на то, что отчеты по краудсорсингу не бесплатны).
  • Результаты измерений характеристик сетей доступны только в тех областях, где были собраны данные. На основе испытаний сетей мобильной связи невозможно эффективно создать карту покрытия для всей страны.

Рекомендации

Анализ и сравнение преимуществ и недостатков обоих подходов показывает, что краудсорсинг и испытания сетей мобильной связи скорее дополняют, чем заменяют друг друга.

В зависимости от поставленной цели или конкретных требований, каждый из подходов дает определенные преимущества. Вот некоторые примеры:

  • Сравнительный анализ качества сетей или рейтинг операторов сетей в определенной стране:для быстрого обзора может быть достаточно данных краудсорсинга. Однако в тех случаях, когда требуется провести объективное сравнение и сделать основательные выводы, настоятельно рекомендуются испытания сетей мобильной связи на основе сравнимой методики (например, ETSI TR 103 559).
  • Карта покрытия для всей страны:здесь краудсорсинг становится наилучшим решением. В большинстве случаев достаточно наличия таких базовых ВЧ-характеристик, как принимаемая мощность эталонного сигнала (RSRP), однако в настоящее время в Европейской организации администраций почты и электросвязи (CEPT) обсуждается вопрос новой интерпретации термина «покрытие», особенно с учетом технологии формирования лучей в 5G. Испытания сетей мобильной связи не могут охватывать всю страну с каждой улицей в каждом населенном пункте, т. к. для этого требуются неоправданно высокие затраты.
  • Оптимизация сетей: в тех случаях, когда требуется оптимизация сетей на основе данных, собранные в заранее известных условиях данные должны быть надежными и воспроизводимыми. Для данных также должен быть доступен контекст (ВЧ-обстановка, подробные сообщения L3 от сети и приложений), позволяющий сопоставлять выявленные проблемы с событиями в сети радиодоступа и определять причины ошибок. Только испытания сетей мобильной связи удовлетворяют этим требованиям, тогда как данные краудсорсинга не предоставляют требуемый контекст.
  • Анализ использования сетей:в целях выявления пунктов или географических областей с повышенным трафиком данных и использованием спектра целесообразно применять краудсорсинг, т. к. большие объемы данных можно анализировать без необходимости в надежности этих данных.
  • Краудсорсинг может оптимально дополнять традиционные выездные испытания:краудсорсинг помогает выявлять области с низким покрытием или перебоями в работе сетей. Для сбора данных можно организовать выездные команды. Краудсорсинг оказывает поддержку в обосновании целесообразности национальных кампаний сравнительного анализа (например, кампаний по сбору индекс рабочих характеристик сети), помогая прокладывать маршруты и убеждаться в том, что кампания действительно охватывает все важные части страны.

Дополнительная информация

Для получения дополнительной информации об обсуждаемых в данном руководстве по применению решениях для сравнительного анализа сетей мобильной связи обращайтесь в местное представительство компании Rohde & Schwarz или посетите наш сайт:
www.rohde-schwarz.com/mnt/network-benchmarking

Скачать