크라우드소싱과 이동통신망 테스트 비교

이동통신망의 품질 및 성능에 대한 객관적 평가가 요구됨에 따라 근본적으로 다른 두 가지 접근방식, 즉 크라우드소싱과 이동통신망 테스트가 주로 이용되고 있습니다. 크라우드소싱 시장은 포화도가 매우 높습니다. 20곳 이상의 회사가 크라우드소싱 이동통신망 측정에 주력하고 있습니다. 이러한 회사는 측정 결과를 얻기 위해 목적에 따라 다른 개념을 적용합니다. 본 애플리케이션 카드는 크라우드소싱 공간의 구조에 대해 설명하고 두 접근방식의 장단점을 분석합니다.

크라우드소싱과 이동통신망 테스트 비교

목표

이동통신망 사업자와 규제당국은 망 품질과 특정 시장의 경쟁 상황을 파악하는 데 점점 더 큰 관심을 가지고 있습니다. 이와 같이 관심이 증가하는 이유는 세 가지 핵심 요구사항 때문입니다.

  • 벤치마킹– 각각의 이동통신망의 상대적 성능 비교
  • 운영 최적화– 이동통신 사업자의 운영 효율성 개선(고객 서비스, 서비스 보장, 네트워크 엔지니어링 포함)
  • 마케팅/CEM(Customer Experience Managmenet, 고객경험관리)– 망 품질의 최종 사용자 경험 평가

크라우드소싱과 MNT(Mobile Network Testing)는 이러한 요구사항에 대응하기 위한 근본적으로 다른 두 가지 접근방식입니다. 이동통신 사업자와 규제당국은 이러한 두 가지 접근방식을 평가한 다음 각각의 요구사항에 따라 매핑해야 합니다. 본 애플리케이션 카드는 두 가지 개념의 장단점에 대해 살펴봅니다.

크라우드소싱 솔루션

크라우드소싱 솔루션은 세 가지 범주로 분류됩니다.

  • 신디케이션– 비용적인 부분을 위해 서로 관련 없는 앱을 측정 SDK에 통합할 수 있습니다(인앱 광고 배치와 유사). 최종 사용자가 백그라운드에서 데이터가 수집되어 추가 분석을 위해 법적 해석이 모호할 수 있는 클라우드 스토리지로 전송된다는 사실을 모르는 경우가 많습니다.
  • 운영자 앱– 운영자 브랜드 앱에 측정 SDK를 임베드합니다
  • 자체 앱– 특히 망 성능에 관심을 가진 사용자를 타게팅하여 앱 스토어에 브랜드 앱을 배치합니다

기업 포지셔닝을 기반으로 한 크라우드소싱 시장 세분화

기업 포지셔닝을 기반으로 한 크라우드소싱 시장 세분화
그림 1: 요구사항 및 애플리케이션 범주 기준 크라우드소싱 솔루션 세분화

크라우드소싱 분석

장점 단점
  • 크라우드소싱 데이터를 전용 측정 캠페인 없이 연속적, 자율적으로 수집합니다.
  • 대량의 데이터로 매우 높은 수준의 분석을 제공합니다. 가입자가 존재하는 모든 위치에서 데이터를 얻습니다. 하지만 지리적으로 전체 커버리지가 완벽히 보장되는 것은 아닙니다.
  • 이동통신망 커버리지와 품질 통계는 국내 또는 지역 단위로 이용할 수 있습니다.
  • 데이터 트래픽이 가장 높은 사이트, 위치, 사업자를 식별하여 새로운 사이트 계획 또는 용량 확장 시 참고할 수 있습니다.
  • 이용 가능 스펙트럼이 각각의 지리적 지역에서 사용되는 방식에 대한 정보를 제공합니다.
  • 다양한 기준(사업자, 위치, 시간 등)에 따라 대량의 데이터를 필터링 및 사용하여 자세히 분석합니다.
  • 크라우드소싱 데이터 수집 조건은 예측할 수 없으며, 대부분 알려져 있지 않습니다.
    • 온도: 사용자 주머니에 들어 있는 스마트폰은 체온까지 온도가 상승합니다. 애플리케이션을 동시 실행할 경우에도 온도가 상승합니다
    • 위치: 주택의 지하, 1층, 10층, 20층 등 스마트폰의 위치
    • 기기 종속성: UE 성능이 제한적인 기존 휴대전화를 장시간 사용할 경우 = 제한적 UE 성능으로 인해 망 성능 평가가 영향을 받을 수 있음
    • 고객 트래픽 계획: 네트워크 사정으로 인해 데이터 볼륨이 확장되거나 전송속도가 급감할 수 있음
  • 측정을 재현할 수 없습니다(크라우드소싱 분석을 반복하거나 새로운 데이터 세트에 수행할 수 있지만 재현할 수 없음). 보고된 이벤트에 분쟁이 있을 경우 검증을 위해 재현할 수 없습니다.
  • 크라우드소싱 데이터를 망 최적화를 위해 사용할 수 없습니다. 근본 원인에 대한 정보가 제한적이거나 없습니다.
  • 크라우드소싱 솔루션은 대부분 독점적 접근방식과 비공개 채점 방법을 따라 결과를 도출합니다. 다른 솔루션에서 도출한 점수 또는 결과는 서로 비교 대상이 아닙니다.
  • 크라우드소싱 솔루션은 일반적으로 UL/DL 처리량, 평균 지연시간, 평균 지터, 패킷 손실 등 품질 KPI에 대한 능동적 테스트를 제한합니다.
  • 스마트폰 운영체제는 제한을 더욱 강화하면서 크라우드소싱 앱(백그라운드에서 실행)이 사용할 수 있는 가용 파라미터를 제한하는 추세입니다.
  • 전용 크라우드소싱 앱은 일반적으로 부정적인 편견을 나타냅니다(특히 기술을 잘 아는 가입자들이 망 문제를 경험할 때 이러한 테스트를 트리거함).

이동통신망 테스트 솔루션

드라이브 테스트 및 도보 테스트는 이동통신망 테스트에만 해당하는 개념입니다. 통제된 테스트 셋업(온도 및 최대한의 RF 차폐)에서 전용 스마트폰(상용 UE)과 네트워크 스캐너를 사용하고 최종 사용자의 동작을 반영한 Test Case 세트를 수행합니다. 음성 서비스(텔레포니)와 데이터 서비스(데이터 전송, 동영상 스트리밍, 소셜 미디어, 웹 브라우징)가 가장 많이 사용되는 서비스이며, 이동통신망에서 트래픽 볼륨의 대부분을 차지합니다.

ETSI TR 103 559는 네트워크 QoS 벤치마크 테스트 및 스코어링에 대한 모범 사례를 포함하고 있습니다. 테크니컬 리포트는 최종 사용자의 인식을 기준으로 이동통신망의 품질을 테스트하는 방법을 권고합니다.

로데슈바르즈 망 성능 스코어는 ETSI 방식을 구현합니다.

애플리케이션을 다음 세 가지 범주에 따라 테스트합니다.

  • 접근성– 서비스 가용성, 예: 드롭된 호
  • 대기 시간– 호 셋업 시간
  • 미디어 품질– 영상 품질 또는 음성 품질

결과는 점수 스케일로 매핑되며 최종 사용자가 인식하는 품질을 반영한 집계 점수가 생성됩니다(스트리밍 동영상을 시작할 수 없는 경우가 동영상 품질이 약간 떨어지는 경우보다 더 심각하며 가중치가 높음).

자세한 내용과 설명을 보려면 아래 사이트를 방문하십시오.
www.rohde-schwarz.com/nps

고속도로 테스트 캠페인

고속도로 테스트 캠페인
그림 2: 로데슈바르즈 NPS(Network Performance Score)는 최종 사용자 애플리케이션의 전체 범위를 지원합니다.

이동통신망 테스트 분석

장점 단점
  • 정의된 조건에 따라 통제된 테스트 셋업(온도, RF 차폐)에서 데이터를 수집합니다. 데이터가 수집되는 조건을 항상 파악하고 있습니다(실외, 실내, 측정 기기 위치, 온도 등).
  • 성능 측정이 UE 결함의 영향을 받지 않도록 최신 스마트폰 및 UE 성능을 이용해 측정 캠페인을 계획합니다. 가입자가 백그라운드에서 실행하는 모든 애플리케이션은 망 품질의 전체적 평가에 영향을 미칩니다.
  • 합의에 따라 정의된 테스트 방식을 사용하므로 이동통신망 테스트를 비교할 수 있고 재현 가능합니다
  • 측정 캠페인이 명확히 정의되며(루트, 팀, 시간, 측정 셋업 등) 3개월, 6개월 또는 12개월 후 쉽게 반복하여 시간의 경과에 따른 성능 향상을 측정할 수 있습니다.
  • 테스트 범위는 크라우드소싱에 비해 훨씬 넓습니다. 전문적인 이동통신망 테스트 솔루션도 음성 및 동영상 콘텐츠에 대해 MOS(Mean Opinion Score)와 같은 고급 메트릭을 계산할 수 있습니다.
  • ETSI 방식을 이용한 네트워크 성능 스코어를 통해 표준화된 측정 및 스코어링 접근방식으로 인한 네트워크 최적화에 대해 파악할 수 있습니다. 추가 분석을 위해 자세한 정보를 활용할 수 있습니다. 문제가 보고되면 문제해결을 위해 상황을 이용할 수 있습니다(RF 조건, 망 및 애플리케이션에서 보내온 자세한 L3 메시지).
  • 합의된 테스트 방식의 호환성을 제공하므로 이동통신망 테스트를 사용해 단일 공급업체 RAN 아키텍처의 O-RAN(Open RAN)을 비교할 수 있습니다.
  • 모바일 기기 및 칩셋 제조업체 간 협약에 따라 스마트폰 운영체제의 제한을 극복할 수 있습니다.
  • 측정 전용 캠페인을 계획 및 실행해야 하며 그에 따라 많은 노력이 필요합니다. 크라우드소싱에 비해 많은 시간과 비용이 소요됩니다(크라우드소싱 보고서는 유료).
  • 데이터가 수집된 지역에 대해서만 망 성능 결과를 이용할 수 있습니다. 전체 국가에 대한 커버리지 맵은 이동통신망 테스트를 기반으로 효율적으로 생성할 수 없습니다.

권장사항

두 가지 접근방식의 장단점을 비교 분석한 표는 크라우드소싱과 이동통신망 테스트가 경쟁적인 것이 아니라 상호 보완적이며, 어느 하나가 다른 것을 절대 대체할 수 없음을 보여줍니다.

목표 또는 요구사항에 따라 어느 접근방식이 다른 접근방식보다 이점이 있을 수 있습니다. 몇 가지 예를 살펴보겠습니다.

  • 망 품질 벤치마킹/국내 사업자 망 순위:대략적 정보만 확인할 경우 크라우드소싱 데이터로도 충분합니다. 하지만 공정한 비교를 수행하고 확실한 결론을 도출하려는 경우에는 이동통신망 테스트에 대해 ETSI TR 103 559와 같은 비교 가능한 테스트 방식을 사용하는 것을 권장합니다.
  • 전국 커버리지 맵:전국의 커버리지 맵이 목표인 경우 크라우드소싱이 최적의 솔루션입니다. CEPT(European Conference of Postal and Telecommunications Administrations)에서 특히 5G 빔포밍에 비추어 "커버리지" 용어를 재정의하기 위한 논의가 진행되고 있지만 대부분의 경우에는 RSRP(Reference Signal Received Power)와 같은 기본 RF 데이터로도 충분합니다. 이동통신망 테스트는 전국의 모든 시, 구/군, 동/리에 있는 모든 도로를 대응할 수 없습니다.
  • 네트워크 최적화: 네트워크 최적화를 데이터를 기반으로 할 경우 수집된 데이터는 신뢰할 수 있어야 하며, 알려진 정의된 조건에 따라 수집해야 하고 재현 가능해야 합니다. 또한, 식별된 문제와 RAN 이벤트를 매치하여 문제의 근본 원인을 식별할 수 있도록 데이터와 함께 상황(RF 조건, 망 및 애플리케이션에서 보내온 자세한 L3 메시지)을 확인할 수 있어야 합니다. 이동통신망 테스트만 이러한 요구사항을 충족하며, 크라우드소싱 데이터는 이러한 상황 정보를 제공하지 않습니다.
  • 망 이용량 분석:데이터 및 스펙트럼 이용량이 높은 위치 또는 지리적 지역을 식별하려는 경우에는 대량의 데이터를 분석할 수 있고 데이터의 신뢰성이 이 목적에 핵심 요소가 아닌 크라우드소싱이 적합한 솔루션입니다.
  • 크라우드소싱은 기존 주행 테스트를 보완하는 데 적합:크라우드소싱을 사용하여 커버리지가 낮거나 네트워크 문제가 적은 지역을 탐지할 수 있습니다. 그런 다음 주행 테스트 팀을 파견하여 데이터를 수집할 수 있습니다. 크라우드소싱은 어떤 캠페인이 실제로 국내 관련 부분을 커버하는지 여부를 판단하기 위한 캠페인 및 루트 계획과 같은 전국적 벤치마킹 캠페인(예: NPS 캠페인)의 적정성을 확인하는 데 유용합니다.

추가 정보

본 애플리케이션 카드에서 살펴본 벤치마킹에 대한 이동통신망 테스트 솔루션에 대해 자세히 알아보려면 로데슈바르즈 영업 담당자에 문의하거나 당사 웹사이트를 방문하십시오.
www.rohde-schwarz.com/mnt/network-benchmarking