Драйв-тест

Драйв-тест является одним из методов измерения качества услуг (QoS) в сетях мобильной связи наряду со стационарными измерениями, а также сбором статистики оператором. В отличие от остальных методов, ДТ является измерением, происходящим в движении. Цель драйв-теста – как можно точнее отразить условия, в которых клиент пользуется мобильной связью (перемещение с постоянной и переменной скоростью, меняющиеся радиоусловия), а также поведение самого клиента (высота установки антенн измерительных комплексов, сочетание телефонных соединений и использования интернет-услуг согласно сценарию, основанному на наблюдениях за действиями пользователей). Благодаря этому измерения приближены к реальному опыту пользователя мобильной сети.

Измерения чаще всего охватывают территории так называемых «кластеров». Для каждого кластера подготавливается отдельный маршрут (анг. drive route). При прокладывании маршрута учитывают среди прочего: территорию, на которой будет проводиться измерение (urban, rural и т.п.), исследуемые услуги, основное движение абонентов, имеющееся для измерений время и многие другие факторы.

QoS (анг. качество обслуживания) определяет гарантированный уровень качества услуг, предоставляемых пользователю сотовой связи в течение всего периода действия договора у данного мобильного оператора. В сфере телекоммуникационных услуг QoS определяется тремя параметрами: доступ, передача информации и разъединение, а также тремя критериями: скоростью, точностью и надежностью. Оператор обязан обеспечивать качественное оказание услуг.

Драйв-тест

Измерительный автомобиль движется по проложенному маршруту. Это машина, специально подготовленная к измерениям сети сотовой связи, оснащенная измерительным комплексом, который позволяет измерить все параметры сети, необходимые для оценки качества услуг. Актуальное положение машины определяется при помощи GPS-приемника, которым оснащена машина. Автомобилю нельзя ехать быстрее, чем это было согласовано во время прокладывания маршрута. Результаты смотрите на главной странице RFBenchmark, кликнув на иконку.

В драйв-тестах используется только измерительное оборудование, соответствующее стандарту ETSI. Каждый автомобиль дополнительно оснащен радиосканером, предоставляющим возможность провести одновременно независимое измерение сигнала в трех доступных технологиях: 2G, 3G и LTE.

Благодаря таким измерениям, а также последующему анализу их результатов, оператор мобильной связи получает информацию, которая поможет оптимизировать сеть, то есть произвести изменения, позволяющие увеличить радиопокрытие, улучшить качество или предложить клиентам новые услуги.

Кластер (анг. Cluster) в телекоммуникации – группа сот, обслуживаемых доступной данному оператору полосой частот. Сота является малой частью всей системы. Пространство соты зависит от географических условий, а также количества абонентов (микросоты в городе, макросоты в сельской местности). Количество сот в кластере может иметь точно определенные значения, рассчитываемые согласно образцу, например, 1, 3, 4, 7, 9, 12, 13, 16 и. т. д. На количество сот в кластере влияют условия, характерные для данной территории.

Измерение качества голосовых услуг

Во время измерений Драйв-Тест осуществляются голосовые вызовы между подвижным терминалом (тестовым) и приемником (например, ISDN или другой подвижный терминал). Измерительные пробные вызовы могут выходить из измерительного терминала и поступать в него – в зависимости от установленной измерительной секвенции. Во время измерения для оценки качества голоса используется 5-балльная шкала MOS.

MOS (анг. Mean Opinion Score) это субъективная оценка качества речевой связи, которая дается принимающей стороной после прохождения сигнала по каналу передачи. Используется 5-балльная шкала оценки качества:
5 — Отлично (Речь воспринимается полностью и без усилий),
4 – Хорошо (Речь воспринимается свободно, без ощутимых усилий),
3 — Удовлетворительно (Речь воспринимается с умеренными усилиями, наличие дефектов неоспоримо),
2 — Плохо (Речь воспринимается вниманием),
1 — Очень плохо (Речь не воспринимается полностью или частично).

Измерение качества голосовых услуг

Чтобы обеспечить объективные и повторяемые результаты измерений, используется один из двух методов эстимации субъективной оценки качества речевой связи (MOS): PESQ или POLQA. Кроме того, собирается информация о количестве удачных и неудачных соединений, а также прерванных вызовов, о времени соединения, типе кодирования речевого сигнала и многое другое. На домашней странице RFBenchmark измерение качества голоса доступно после выбора картинки.

POLQA (анг. Perceptual Objective Listening Quality Assessment) это объективный метод субъективной оценки качества речевой связи.Чаще всего предусматривается оценка качества речевой связи MOS по 5-балльной шкале. POLQA является наследником PESQ (анг. Perceptual Evaluation of Speech Quality).

Измерение пакетных услуг

Одновременно с измерениями качества голосовых услуг осуществляются измерения интернет-услуг. Примерная последовательность измерения.

Измерение Oписание
FTP DL (5x 5MB) Загрузка файла размером 5 Мb — 5 параллельных сессий тестового сервера
FTP UL (5x 5MB) Отправка файла размером 5Мb — 5 параллельных сессий тестового сервера
HTTP Browsing: Kepler Загрузка содержания тестовой Веб-страницы
HTTP Get (10x 5MB) Загрузка файла размером 5Мb – 10 параллельных сессий тестовой Веб-страницы
Ping (10x 32B) 10 сессий PING при размере пакета 32B
Video: YouTube 30sec Видеостриминг из YouTube в течение 30 сек
Измерение пакетных услуг

Одними из самых важных измеряемых параметров, с точки зрения пользователя, являются параметры: Throughput и RTT. На основе анализа двух этих параметров мы получаем информацию о скорости интернета, которую предлагает данный оператор, а также о том, для чего мы можно использовать это сетевое соединение. Собираются также данные о количестве удачных и неудачных сессий FTP, HTTP, Ping, по какой причине сессия не состоялась, по какой технологии работал терминал и многое другое. Скорость интернета можно проверить на главной странице RFBenchmark, кликнув соответствующую иконку.

Throughput в телекоммуникации определяет количество правильно отправленных данных за определенный промежуток времени и измеряется, как правило, в мегабитах в секунду (Мб/с).

RTT (анг. Round Trip Delay Time) сообщает о том, сколько времени прошло с момента отправки сообщения с нашего компьютера до его получения компьютером в сети, а также через сколько времени приходит подтверждение доставки сообщения. Чем меньше RTT, тем лучше. Похожим параметром является задержка (анг. latency), сообщающая о том, сколько времени проходит с момента отправки сообщения с нашего компьютера до его получения компьютером в сети.

Мобильное приложение

Благодаря мобильному приложению можно измерять базовые параметры сотовой сети. Приложение предоставляет информацию, в том числе о таких параметрах, как уровень и качество сигнала в зависимости от технологии, по которой работает подвижный терминал (мобильный телефон), ID соты, к которой в данный момент относится мобильный телефон, об операторе сотовой сети, стране, где находится терминал, а также о точном местоположении на карте, благодаря встроенному в телефон GPS-приемнику. Дополнительно при желании можно измерить скорость интернета во время передачи и получения данных, а также сделать тест задержки. Все измерения после нажатия кнопки «Submit» загружаются на наш сервер и автоматически появляются на карте RFBenchmark. Если наблюдается низкое качество голосового соединения, отсутствие мобильного интернета или любой другой услуги, которая должна работать, приложение имеет возможность отправить отчет об актуальном местоположении, где возникла проблема с данной услугой.

Приложение работает по всему миру, а результаты можно посмотреть на домашней странице RFBenchmark после выбора картинки.

Измерительная последовательность приложения

Измерение пакетов услуг в мобильном приложении для подключения передачи данных на основании измерительной последовательности показано ниже:

1. Выбор сервера — на основании расположения, IP адреса, данных мобильной сети, несколько типизированных тестовых серверов на наименьшем расстоянии от мобильного терминала, серверы предварительно проверены на предмет времени доступа, чтобы выбрать лучший для дальнейшего измерения параметров интернет-канала,
2. Ping — время отклика тестового сервера на отправленный запрос, первоначально высылается обучительный запрос, затем время отклика проверяется серией 20 подключений ping размером 32B, промежуток времени между последовательными вызовами составляет 100 мс, максимальное время отклика составляет 3 секунды, а максимальное время проведения теста составляет 10 секунд, попытки проведения теста на более длительное время отклоняются,
3. Скачать — загрузка данных из тестового сервера, загрузка осуществляется максимально в четырех параллельных сессиях, каждая сессия начинается тренировочным файлом размером 100 Кб через 1 секунду, затем загружается соответствующий файл размером 10 Мб максимально через 10 секунд,

Измерительная последовательность приложения

4. Загрузить — отправка данных на тестовый сервер, отправка осуществляется максимально в четырех параллельных сессиях, каждая сессия начинается тренировочным файлом размером 100 Кб через 1 секунду, затем отправляется соответствующий файл размером 5 Мб максимально через 10 секунд,

Для WiFi увеличены будут размеры файлов, используемых после измерения скорости получения и отправки. Это связано с большой пропускной способностью, предлагаемой проводным Интернет-соединением по сравнению с мобильным Интернетом. Больший файл более доступен к быстрому проводному соединению на максимальной скорости.

Средний расход данных, относящихся к одиночному измерению скорости составляет 20 Мб при передаче данных. При подключенном Wi-Fi, потребления данных будет известно после осуществления изменений.

Отчёты пользователя

Данные, аккумулируемые посредством пользователей мобильного приложения RFBenchmark при использовании «Теста качества услуг». После автоматической высылки измерений на сервер при помощи приложения, данные показатели отображаются на карте при выборе источника данных: Отчёты пользователя.

Тест качества услуг в рамках мобильного приложения основывается на трех параметрах: Ping, скорости загрузки и выгрузки данных. Вышеуказанная обобщенная информация, может использоваться для определения пригодности канала для осуществления отдельных Интернет-услуг, а именно использование веб-сайтов, VoIP или просмотр HD-видео.

Ping это функция, позволяющая измерить задержки передачи пакетных данных, или передачи пакета информации в сети. Тест заключается в исследовании соединений между телефоном и тестовым сервером. Слишком высокое значение Ping, может негативно сказываться на услугах обслуживания игр в режиме реального времени, разговорах VoIP и т.д. Данное значение выражается в миллисекундах (мс).

Отчёты пользователя

Рейтинг операторов относится к целому пространству, актуально освещаемому на карте. Можно также сравнить результаты для конкретного места. Достаточно выбрать цветной квадрат, благодаря чему появляется множество информации, относительно измерений, выполненных для различных операторов в данном пункте. В скобках имеется информация о количестве измерений для оператора в выбранной области.

Описание масштаба скорости высылки, получения FTP, а также Ping можно найти, открывая закладку «Объяснения масштаба качества услуг на интерактивной карте».

Пояснения масштаба качества услуг на интерактивной карте

На интерактивной карте RFBenchmark размещается деление, описывающее качество выбранной услуги. Деление описывает качество услуги, как цветом, так и числовым диапазоном. На карте помещены измерительные пункты, цвет которых отвечает соответствующему результату по шкале качества услуг. Пояснения приведены ниже.

Качество сигнала

1 – очень слабое покрытие / очень низкое качество сигнала делающее невозможным нормальное предоставление услуги
2 – плохое покрытие / низкое качество сигнала которое влечет за собой проблемы с доступом к голосовым услугам и Интернету
3 – среднее качество покрытия / рядовое качество сигнала может влечь за собой частый срыв голосовых соединений, а также низкую скорость доступа к интернету
4 – хорошее качество покрытия / хорошее качество сигнала и отсутствие проблем, связанных с доступом к услугам, хорошее качество голосовых соединений и удовлетворительная скорость доступа к Интернету
5 – образцовое качество покрытия, голосовые соединения очень хорошего качества, возможность получения максимальной скорости доступа к Интернету в зависимости от технологий: 2G/3G/4G (LTE)

Качество голосового соединения

1 – недопустимое качество (без сосредоточенности и значимых усилий, нет возможности, чтобы понять, что говорит оппонент во время разговора)
2 – слабое качество (разговор требует значительной сосредоточенности и усилий, чтобы понять, о чем говорит оппонент)
3 – допустимое качество (разговор требует среднего усилия, чтобы понять, что говорит оппонент)
4 – хорошее качество (разговор требует сосредоточенности, но не требует значимых усилий, чтобы понять, что говорит оппонент)
5 – отличное качество (возможно расслабиться, разговор не требует усилий, чтобы понять, что говорит оппонент).

Отправка FTP (Mbps)

до 1Mbps – очень медленно, действуют основные услуги, такие как просмотр веб-страниц, E-mail
от 1 до 3Mbps – медленно, действуют дополнительные услуги, такие как: отправка небольших файлов, потоковое аудио
от 3 до 8Mbps – нормально, действуют дополнительные услуги, такие как сетевые игры, в режиме реального времени и отправка файлов средних размеров
от 8 до 14Mbps – быстро, действуют дополнительные услуги, такие как потоковое видео SD, разговоры SD-видео
от 14 до 100Mbps – очень быстро, действуют дополнительные услуги, такие как потоковое FHD, FHD разговоры, отправка больших файлов, возможность запуска сервера

Загрузка FTP (Mbps)

до 1Mbps – очень медленно, действуют основные услуги, такие как просмотр веб-страниц, электронная почта, воспроизведения аудио потока, просмотр видео до 480p
от 1 до 3Mbps – медленно, действуют основные услуги, такие как прием небольших файлов, потоковое воспроизведения SD-видео
от 3 до 8Mbps – нормально, действуют дополнительные услуги, такие как сетевые игры в режиме реального времени, VOD, просмотр видео до 720p
от 8 до 14Mbps – быстро, действуют дополнительные услуги, такие как просмотр видео выше 720p, прием файлов средних размеров, разговоры SD-видео
от 14 до 100Mbps – очень быстро, действуют дополнительные услуги, такие как прием файлов больших размеров, просмотр видео 1080p и выше, воспроизведение потокового видео FHD, FHD видео вызов, возможность запуска сервера

Ping (ms)

до 30мс – очень короткий, не вызывает никаких проблем в осуществлении Интернет-услуг
от 30 до 50ms – короткий, могут присутствовать мелкие проблемы в реализации услуг сетевых игр в режиме реального времени
от 50 до 70ms – средний, могут присутствовать значимые проблемы в реализации услуг сетевых игр в режиме реального времени
от 70 до 120ms – длинный, делает невозможным пользование услугами игр в режиме реального времени
от 120 до 9999ms – очень длинный, свыше 150 мс могут быть проблемы с реализацией разговоров HD, телефонных услуг VoIP. Свыше 200 мс имеют место проблемы в просмотре веб-страниц, просмотре видео SD качества, просмотре видео HD качества, реализации услуги multiroom (3x видео HD) и проблемы с сетевыми играми»