Хабрахабр

Как мы обслуживали ИТ-инфраструктуру “Лужников” во время Чемпионата мира

Мне довелось участвовать в проекте по созданию инженерной и ИТ-инфраструктуры Большой спортивной арены «Лужники». Работы длились несколько лет и завершились сопровождением внедренных нами решений во время проведения Чемпионата мира по футболу FIFA. Под катом — о том, как мы внедряли и обслуживали HD Wi-Fi на крупнейшей спортивной площадке страны, с какими проблемами столкнулись и как нам помогали миникомпьютеры Raspberry Pi.

Источник

13 ноября 2017 года

Главная новость дня: На БСА Лужники будет две сети Wi-Fi для болельщиков, а не одна. Сейчас точки Wi-Fi для болельщиков установлены только в скай-боксах и подтрибунном пространстве. В 2014 году, когда началась реконструкция, на трибунах стадиона заказчик решил Wi-Fi не строить, поскольку данный посыл присутствовал в требованиях FIFA в форме скромного пожелания. Теперь у заказчика есть официальное письмо за подписью ИТ-директора FIFA Дика Вайлза (Dick Wiles). Суть письма заключается в том, что теперь HD Wi-Fi на трибунах стадиона – это не мягкая просьба, а жесткое требование. Не очень понятно, что теперь с этим делать. Закупленные в 2014 году и установленные согласно проекту точки доступа и контроллеры Wi-Fi HPE ушли в такой end-of-sale, что расширить сеть на существующих контроллерах нет никакой возможности. Будем строить на Лужниках еще одну Wi-Fi сеть. В идеале решение должно пройти опытную эксплуатацию 23 марта 2018 года, на тестовом матче Россия-Бразилия. На 100% все должно работать 14 июня, на церемонии открытия Чемпионата мира по футболу FIFA.

15 ноября 2017 года

Поскольку это не первый проект «ЛАНИТ-Интеграции» по строительству HD Wi-Fi на стадионах (о первом проекте можно прочитать тут), уже понятны основные моменты, на которые стоит обратить внимание.

  1. Все клиенты должны пройти аутентификацию перед получением доступа в Интернет.

    Наиболее понятный способ решить вопрос – предложить абоненту сообщить свой номер мобильного телефона в обмен на получение одноразового пароля по SMS. Если речь идет о гостевом доступе в Интернет в общественном месте, это требование российского законодательства.

  2. Точки доступа будут стоять не там, где это оптимально, а там, где разрешат.

    Как только план расстановки точек доступа попадет на согласование людям, ответственным за общественный порядок, в случае несоблюдения хотя бы одного из условий точку демонтируют, а любые доводы типа радиообследования, рекомендаций вендоров и т.д. Точка доступа может висеть на стадионе только при одновременном соблюдении трех условий: а) не заслоняет обзор; б) руками не дотянуться; и в) можно подвести «витую пару». будут трактоваться как отговорки в пользу бедных.

  3. Всегда есть жалобы на работу Wi-Fi, с которыми непонятно что делать.

    «Вчера моя девушка была на стадионе и не смогла подключиться». «Что-то я слишком долго скачиваю файл через WhatsApp». В разгаре матча совершенно без толку уточнять у человека MAC-адрес телефона, просить прислать скриншоты и т.д. Крайне редко претензия содержит сведения, хоть как-то помогающие в работе. Если мы не хотим бегать по стадиону в бесконечных попытках проверять качество работы HD Wi-Fi, надо придумать, что делать с подобными обращениями.

  4. Трудно объективно понять, насколько хорошо работает HD Wi-Fi на стадионе.

    Может не прийти SMS-код из-за глюков телефона, загруженности сотовой сети или сбоя на стороне SMS-оператора. Абонент может быть недоволен качеством Wi-Fi из-за кучи «плавающих» вещей, которые даже неподконтрольны тому, кто занимается обслуживанием ИТ-инфраструктуры объекта. Человек банально не поймет, как подключиться… Качества сигнала и отсутствия помех в беспроводной среде передачи данных по определению никто не гарантирует. Возможны задержки открытия web-страниц из-за проблем на стороне операторов связи, или хостинг-провайдеров.

Антенна WiFi на стадионе. Обратите внимание, что она находится за стеклом, что несколько ухудшает качество сигнала, зато физически защищает антенну от болельщиков.

15 декабря 2017 года

Заказчик принял окончательное решение, что вторая сеть Wi-Fi на стадионе будет строиться на оборудовании Cisсо Systems. По самым предварительным расчетам, на трибунах стадиона надо повесить порядка 500 точек доступа. Инженеры Cisco предлагают делать проект на контроллерах AIR-CT8510-500-K9 и на точках AIR-CAP3702E с антеннами AIR-ANT2513P4M-N= и AIR-ANT2566D4M-R=. Если мы сегодня же закажем оборудование, оно придет минимум через полтора месяца, то есть 1 февраля. А 23 марта – тестовый матч. Сроки крайне сжатые, так что контроллеры решили заказывать сразу. Для мониторинга инцидентов ИБ было решено добавить в состав решения и тоже сразу заказать пару NGFW на базе МЭ Fortinet в разрыв между нашей сетью и сетью оператора связи. Заказывать точки доступа и радиоантенны пока стремно, ибо мы смутно представляем, сколько точек нужно и куда их вешать. Надо срочно начинать радиообследование.

Источник

18 декабря 2017 года

Оказывается, во время Чемпионата мира на стадионе будет даже не две сети Wi-Fi, а три. Еще одна независимая беспроводная сеть (на отдельных контроллерах) будет развернута FIFA для собственных нужд и нужд работников средств массовой информации. Поскольку сеть FIFA частично затрагивает подтрибунное пространство стадиона, в некоторых помещениях существующие точки доступа Wi-Fi HPE должны быть временно отключены, а еще лучше – демонтированы. В остальном это не влияет на ход нашего проекта.

20 декабря 2017 года

Определились с тем, куда концептуально будем вешать точки доступа на трибунах стадиона. Рассматривались четыре варианта: ходовые мостки кровли, под сиденья, по периметру секторов (на перила ограждения, порталы для выхода на трибуну) и под трибунами, в надежде, что радиосигнал пробьет плиту перекрытия (экзотический путь, но реализованные таким образом проекты в мире есть).

Оно составило -80dBm, и это похоронило решение. Первым отпал вариант пробивать плиту перекрытия: померили затухание сигнала в диапазоне 2,4 ГГц при сквозном прохождении плиты.

вариант подразумевал значительно больше точек доступа (порядка 800) и требовал практически изрешетить армированные бетонные плиты толщиной 1 м сотнями технологических отверстий для подвода кабеля, которые не понятно, как гидроизолировать. Теперь пришла очередь отказаться от размещения под креслами, т.к.

Но и тут не судьба: среднее расстояние от ходовых мостков кровли по прямой до трибун стадиона «Лужники» составляет порядка 40м при проектной норме максимум в 20м для HD Wi-Fi. Наиболее соблазнительно смотрится монтаж на кровле: прокладывать кабель по ходовым мосткам куда проще, тем более что там даже есть оптика и климатические телекоммуникационные шкафы.

Это означает неизбежную неравномерность радиопокрытия плюс проработку решений по защите от посягательств на оборудование со стороны гостей. Остается единственный вариант – раскидывать точки по периметру секторов стадиона. Других способов выполнить требования FIFA попросту нет.

25 декабря 2017 года

Мы разделили трибуны стадиона на типовые сектора и провели радиообследование одного типового сектора. Для обследования мы попросили у Cisco Systems на тест точки АIR-CAP3702E с антеннами, которые предлагал вендор. По итогам обследования удалось наметить способы крепления оборудования. Чтобы болельщики не могли дотянуться до точек доступа, нужны специальные монтажные кронштейны. Придется делать их на заказ, причем ожидается несколько типов кронштейнов, в зависимости от типовых мест установки точек доступа. Еще нам нужны монтажные боксы, т.к. предоженные вендором точки доступа не являются вандалостойкими, а вандалостойкие точки доступа Cisco для HD Wi-Fi стоят значительно дороже и точно не появятся на объекте к матчу Россия-Бразилия.

28 декабря 2017 года

Проектировщики получили результаты радиообследования одного сектора стадиона и по этим данным нарисовали задание на подвод кабелей СКС по всем секторам. Определились с требуемым количеством точек доступа – 430 штук. Это позволило начать закупку точек, выдать задание производителю кронштейнов и монтажных боксов, а также прикинуть, в каких кроссовых нужно установить дополнительные коммутаторы доступа, чтобы иметь возможность подключить наши точки доступа. Уже понятно, что для проекта нужны 12 разных типов монтажных кронштейнов. Закупку кронштейнов пока придется ограничить пилотной партией, так как сперва заказчик должен увидеть решение в натуре и убедиться, что точки доступа никому не мешают. Спецификацию на коммутаторы доступа, антенны и точки Wi-Fi отдали в заказ в полном объеме. Если заказанное оборудование придет в конце февраля, у нас будет всего месяц до начала тестового матча.

Фрагмент монтажного чертежа одного из используемых на стадионе кронштейнов

15 января 2018 года

На стадионе холодно, но сильных морозов нет, и это позволяет нашим монтажникам в 2 смены тянуть кабели к местам установки точек доступа. Приехали первые пилотные образцы монтажных кронштейнов. Поскольку точки доступа еще не привезли, пилотный монтаж решили делать с использованием оборудования, ранее взятого у Cisco Systems для проведения радиообследования.

За это должна отвечать отдельная подсистема. Тем временем инженеры вовсю заняты проработкой решения SMS-аутентификации абонентов. Мы остановились на продукте под названием WNAM от ООО «Нетамс», который работал у нас на стадионе «Открытие Арена». На рынке есть несколько производителей ПО и операторов связи, у которых можно эту подсистему купить – либо как ПО, либо как сервис.  Вот как все это должно в общих чертах выглядеть.

Общая архитектура системы

Когда абонент пытается подключиться к SSID, контроллер спрашивает у WNAM, есть ли клиент с MAC-адресом, от которого пришел запрос на подключение, в базе зарегистрированных пользователей. WNAM взаимодействует с контроллерами Wi-Fi по протоколу RADIUS. Если его нет, контроллер редиректит пользователя на портал аутентификации и пока что никуда, кроме этого портала, его не пускает. Если есть – клиент получает доступ в Интернет и опционально редиректится на стартовый web-сайт (в нашем случае это портал FIFA welcome2018.com). Дизайн портала аутентификации для каждого проекта уникален и разрабатывается отдельно (в нашем конкретном случае его прислал Оргкомитет FIFA). Портал представляет собой web-страницу, которая крутится на сервере авторизации WNAM. Во время ЧМ стартовая страница аутентификации должна выглядеть следующим образом:

Как только пользователь вводит номер своего телефона, WNAM генерирует код авторизации и отправляет его в виде SMS через утилиту kannel по протоколу SMPP СМС-оператору, а тот через соответствующего сотового оператора – конечному абоненту.

Для обмена данными с оператором в нашем случае нужен IPSEC-туннель и, само собой, договор, по которому этот SMS-оператор будет с нами работать.

Платить должен тот, кто заключает договор, в данном случае – владелец инфраструктуры Wi-Fi. За отправку каждого SMS-сообщения оператором взимается плата. В этом случае платить за отправку SMS будет абонент, но мы не пошли таким путем). (Вообще-то можно сообщать абоненту одноразовый код на web-портале, а потом просить его отправить этот код на номер SMS-оператора.

Данное сообщение транслируется SMS-оператором в WNAM, поэтому мы знаем, получил абонент одноразовый пароль или нет. При успешной доставке SMS-сообщения сотовый оператор генерирует в обратную сторону delivery report с подтверждением факта получения SMS.

Если пароль правильный, WNAM дает контроллеру команду авторизовать абонента и дать ему доступ в интернет. Пользователю предлагается ввести пароль на портале.

1 февраля 2018 года

На объект пришли контроллеры Wi-Fi, коммутаторы доступа и межсетевые экраны. Оборудование смонтировали, приступили к пуско-наладочным работам. Коллеги из «Нетамс» начали настраивать WNAM. Тем временем заказчику позвонили из соответствующих ведомств и напомнили о высокой ответственности, которая возлагается на всех нас в части отработки потенциальных инцидентов информационной безопасности на матчах Чемпионата мира.

Объясняем, что антенны и точки доступа уже закуплены и едут на объект, поэтому максимум, что мы можем поменять в условиях крайне сжатых сроков – это чуть подвинуть точки или немножко подправить кронштейны. Чтобы сэкономить время, активно проводим с заказчиком согласование пилотных монтажных узлов в неофициальном порядке. Заказчик идет навстречу и вносит в пилотные решения минимальные корректировки. В противном случае проект можно будет сворачивать. Таким образом мы потихоньку согласовываем в заказ проектные партии типовых монтажных кронштейнов.

12 февраля 2018 года

Оргкомитет прислал уточненные требования к работе сети Wi-Fi для болельщиков. Основные изменения касаются статистических отчетов, которые Оргкомитет будет требовать с нас на каждом матче Чемпионата Мира. Некоторые требования – весьма специфические. Помимо очевидных вещей типа графиков загрузки каналов связи и количества абонентов требуется вычислять соотношение пользователей в диапазонах 2,4 и 5 ГГц, а также данные о том, как абоненты проходят различные этапы аутентификации, да еще и с разбивкой по странам, из которых эти абоненты приехали. Статистику Оргкомитет FIFA желал видеть не только в форме интерактивных графиков, но и в виде таблиц с возможностью автоматического экспорта данных в excel и pdf, причем перед экспортом должна быть доступна опция задания временного промежутка, за который нужны данные. Такие требования наводили на мысль об отдельной «зонтичной» системе сбора и анализа статистики, которая будет сводить данные из различных компонентов сервиса, поскольку сведения об утилизации каналов операторов связи, например, надо брать из межсетевого экрана, статистику по аутентификации – из логов WNAM, а данные по количеству абонентов в диапазонах 2,4 и 5 ГГц  – только на контроллерах и больше нигде. Так в нашем проекте появилась тяжелая артиллерия в виде системы сбора и анализа статистики Splunk Enterprise.

14 февраля 2018 года

Источник

Как оценивать работу сервиса, если ты контролируешь не все его компоненты, «плавающих» проблем слишком много, а полученные от абонентов описания инцидентов лишь отнимают время? А что все-таки делать с жалобами на плохую работу Wi-Fi? Это должны быть устройства, которые могли бы сами подключаться к сети Wi-Fi, аутентифицироваться на WNAM, работать в Интернете, отключаться и делать все это по скрипту снова и снова, присылая нам детальные логи на каждом шаге. Почему бы не раскидать по стадиону какие-то устройства, которые будут вести себя в сети Wi-Fi так же, как наши пользователи, и при этом отсылать нам детальные логи о том, как обстоят дела в действительности? Надо будет обсудить эту тему с инженерами, может удастся что-то придумать. Безусловно, все это еще должно недорого стоить, так как бюджет проекта практически исчерпан.

15 февраля 2018 года

Обсудили с инженерами идею проактивного мониторинга Wi-Fi путем имитации пользовательской активности. Вспомнили о Raspberry Pi. В теории его можно наделить функционалом мобильного устройства, если оснастить GSM-модемом с SIM-картой, на которую будут приходить SMS с одноразовым кодом аутентификации. Питать изделие можно по PoE, через PoE-экстрактор.

Внешний вид Raspberry Pi 3 model B без корпуса

26 февраля 2018 года

Инженеры выдали проект устройства проактивного мониторинга на базе Raspberry Pi 3 Model B. Предполагается подключить к нему Wi-Fi-адаптер Wi-Fi  D-Link DWA-171/RU/A1A, поскольку внутренний Wi-Fi-адаптер не обладает поддержкой сетей в диапазоне 5GHz (жаль что версия B+, где есть встроенный адаптер на оба диапазона, выйдет спустя месяц), а также 3G/GSM-модем Huawei E3372h-153USB  с SIM-картой. Питание миникомпьютера можно осуществлять через промежуточный PoE-экстрактор Upvel UP-102S. Все это будет упаковано в пластиковый корпус.

Сценарий активности микрокомпьютера задается отдельным python-скриптом. На миникомпьютере под управлением ОС Raspbian устанавливается интернет-браузер Firefox и компонент Splunk forwarder, который должен пересылать логи в Splunk Enterprise. Отправка логов осуществляется по проводному Ethernet, а не по Wi-Fi, что является еще одним достоинством решения.

Для этого идеально подошла библиотека Selenium, созданная для языка Python. В основе работы скрипта проверки лежит взаимодействие с браузером и выполнение в нем действий, аналогичных тем, что совершает пользователь в процессе работы с Wi-Fi (загрузка страницы аутентификации, ввод номера, на который зарегистрирована сим-карта, ввод полученного кода по SMS, несколько тестов скорости работы в интернете).

Вот такое получилось изделие. На фото — корпус со снятой крышкой.

28 февраля 2018 года

Идея с Raspberry заказчику понравилась. Он согласился включить в состав решения 50 миникомпьютеров и закупить для них SIM-карты трех сотовых операторов. Теперь, если во время матча кто-то позвонит и начнет жаловаться на плохую работу Wi-Fi, у нас будет 50 эталонных устройств, по которым можно увидеть общую картину работы сервиса на стадионе.

5 марта 2018 года

Пришла первая партия монтажных кронштейнов. Все точки доступа и антенны уже на объекте, кабели СКС протянуты, а кронштейнов не хватает. Монтируем то, что есть. Договорились с заказчиком, что к тестовому матчу Россия-Бразилия будут смонтированы точки доступа на типовых секторах, чтобы иметь возможность проверить правильность принятых решений по расстановке. Жаль, что до церемонии открытия мы точно не успеем протестировать Raspberry.

15 марта 2018 года

Нас пригласили на очередное совещание по вопросам информационной безопасности. На совещании мы поинтересовались, какие риски ИБ во время Чемпионата были бы наиболее значимыми. Оказалось, самое неприятное, что может произойти – это трансляция на видеотабло стадиона контента экстремистской направленности. Мы спросили, что будет, если кто-то додумается во время матча вывести на табло порнографию. Нам ответили, что это, конечно, тоже неприятно, но есть вещи и похуже.

20 марта 2018 года

Сегодня мы завершили настройку зеркалирования трафика на интерфейсы серверов СОРМ-2, СОРМ-3 и СОПКА, которые установлены прямо в дата-центрах стадиона. Пришлось немного повозиться с перенаправлением логов с WNAM и межсетевого экрана в СОРМ3, чтобы если что было бы откуда брать частный IP адрес, MAC-адрес и номер SIM-карты любого, кто авторизуется в нашей сети.

23 марта 2018 года. Тестовый матч «Россия — Бразилия»

Сегодня на стадионе товарищеский матч между сборными России и Бразилии, так что монтаж точек доступа приостановлен. К тестовому матчу мы успели повесить точки доступа только на нижнем ярусе трибун стадиона (это 50% от общего объема) плюс Wi-Fi в подтрибунном пространстве, который уже и так работал. Главная задача на сегодня – убедиться, что наше типовое решение по расстановке точек доступа будет работать в условиях большого скопления абонентов, ну и общее сопровождение ИТ-инфраструктуры тоже на нас.

Наша команда размещается на первом этаже восточной трибуны стадиона в помещении с белыми стенами и без окон. Здесь только айтишники, и нас человек пятнадцать. Народ сидит и сосредоточенно пялится в ноутбуки. Кому-то поначалу не хватает стульев. Еще в помещении душно и много белого света. Все это наводит на мысли о камерах Министерства любви из антиутопии Оруэлла, но думать об этом некогда.

Splunk Enterprise собирает логи от всех ИТ-систем стадиона, за которые мы отвечаем. Каждый из инженеров отвечает за работу какой-то отдельной ИТ-системы: система хранения данных, серверы, виртуализация, AD DS, Wi-Fi…  У нас с руководителем проекта отдельный стол и большой монитор, на который выводятся дашборды системы мониторинга Splunk Enterprise. Он же показывает статистику работы Wi-Fi высокой плотности.

Статистика очень детальная, есть даже процент распределения пользователей по диапазонам 2,4 и 5 Ггц (долго думали, как реализовать, в итоге решили периодически обращаться Splunk’ом по API к Wi-Fi контроллерам Cisco и HPE через посредников в лице системы мониторинга HP IMC, к которой подключены контроллеры точек HP, и Cisco Prime, к которой подключены контроллеры Cisco).

Поэтому в углу комнаты стоит телевизор, который транслирует прямой эфир «Первого канала». Поскольку в помещении нет окон, мы понятия не имеем, что происходит на поле. По этому телевизору мы с руководителем проекта будем смотреть все матчи ЧМ-2018 на стадионе «Лужники».

То есть можно выйти и посмотреть, как люди проходят на стадион через турникеты. Из помещения, где мы сидим, есть короткий проход к одной из входных турникетных групп. Страшно представить, что начнется, если турникеты встанут. От этого в общем-то будничного процесса невозможно оторваться, потому что турникеты синхронизируются с билетным сервером по сети, за которую ты отвечаешь головой.

Мы видим, как они проходят через турникеты, и наблюдаем в дашбордах Splunk, как растет количество подключившихся пользователей. Народ подтягивается на стадион. Никаких инцидентов не зафиксировано. Оно равномерно растет до стартового свистка, потом падает, в перерыве между первым и вторым таймом еще один пик, потом снова спад, и, наконец, небольшой финальный всплеск после окончания матча. Решение по расстановке точек доступа на трибунах стадиона признано работоспособным.

16 апреля 2018 года

Как известно, чтобы идентифицировать человека по номеру телефона, надо делать запрос оператору связи для получения паспортных данных человека, на который зарегистрирован номер. Если ты зарегистрировал SIM-карту в Иране, Мексике, Марокко, не факт, что получится оперативно идентифицировать тебя через запрос оператору сотовой связи.

Если на Чемпионате мира кто-то попытается зарегистрироваться в сети Wi-Fi по зарубежному номеру, ему будет предложено ввести номер FAN-ID или паспорта болельщика. Поэтому Оргкомитет прислал уточненные требования по SMS-аутентификации. Особенно с учетом того, что портал FAN ID, с которым надо интегрироваться, еще пребывает в стадии активной разработки. Реализация этого требования требует отдельных плясок с бубном на уровне WNAM в части интеграции системы SMS-аутентификации с базами FAN-ID.

15 мая 2018 года

Добавили на WNAM страничку портала аутентификации для обладателей зарубежных SIM-карт. Поскольку база FAN ID еще не введена в эксплуатацию, аутентификация по FAN ID пока не работает.

Система готова к эксплуатации. Наконец-то завершили монтаж и пуско-наладку всех точек доступа. Будем проводить эти работы до 14 июня. К сожалению, пока не успели смонтировать Raspberry, но в этом ничего особо страшного нет.

12 июня 2018 года

Сегодня нам предложили проверить, как будет работать Wi-Fi, если на стадионе запустят средства радиоэлектронной борьбы с беспилотными летательными аппаратами. В ходе проверки Wi-Fi выяснилось, что уровень сигнала стал значительно хуже. Нам покивали, провели работу с оборудованием радиоэлектронной борьбы, и это решило вопрос. Спасибо за конструктивную позицию.

14 июня. Матч «Россия-Саудовская Аравия»

Я стою в углу конференц-зала «Лужников», а в конференц-зале вовсю идет подготовка к совещанию перед церемонией открытия Чемпионата Мира. Рядом со мной — ящик пива, на котором лежит лист бумаги с надписью «Райдер Р. Вильямс. Не брать». Церемония открытия начнется через несколько часов.

Не удержались и посидели в креслах, в которых скоро будут сидеть Владимир Путин, наследный принц Саудовской Аравии Мухаммед бен Салман и президент ФИФА Джанни Инфантино. Только что мы закончили последнее, что нам оставалось сделать на стадионе перед Чемпионатом мира, – смонтировали и подключили ТВ-панель на президентской VIP-трибуне, на которую будут выводить статистику матча и повторы интересных моментов.

Источник

Чтобы ее получить, каждый заполнял анкеты и сдавал отпечатки пальцев. У каждого из нас есть аккредитация на стадион. Поэтому за три часа до начала матча мы спускаемся в наш штаб и включаем телевизор. Наша аккредитация дает право свободно перемещаться по стадиону, но в период за три часа до начала матча, во время самого матча, а также во время репетиций мероприятий и тренировок команд выход на поле и трибуны нам запрещен. Количество абонентов, подключившихся к Wi-Fi, постепенно растет. Болельщики потихоньку подтягиваются.

Однако смущает низкий процент пользователей, которые зашли на портал SMS-аутентификации и успешно ее прошли – 30% при ожидаемых 50%. ИТ-инфраструктура стадиона отработала матч без инцидентов. Посмотрим, что будет на следующих матчах. Мы предположили что всё благодаря пяти голам, забитым сборной России в ворота сборной Саудовской Аравии, однако Оргкомитет с нами не согласен.

Источник. Девушка решила сфотографироваться на фоне антенн HD WI-FI

15 июня 2018 года

Мы проанализировали логи WNAM и выяснили, что во время вчерашнего матча очень много людей при регистрации на портале WiFi HD почему-то неправильно вводили свой FAN ID. Если присмотреться к паспорту болельщика, то там есть три номера, похожие на те, что требует страничка портала аутентификации. Предположили, что болельщики не знали, какой конкретно номер требуется ввести. В итоге мы совместно с Оргкомитетом FIFA придумали пару идей, которые должны улучшить качество работы сервиса Wi-Fi на стадионе:

  • добавить на портал изображение паспорта болельщика с указанием, какой конкретно номер требуется вводить,
  • добавить инструкцию для тех, у кого не получается подключиться,
  • попросить стюардов обращаться к нам за техподдержкой, если кто-то из болельщиков обратится за поддержкой к ним.

17 июня 2018 года. Матч «Германия — Мексика»

В самый разгар матча от стюардов поступает жалоба на проблемы с доступом к Wi-Fi в VIP-зоне. Нас проводят в скай-бокс. В скай-боксе накрыт стол и тусуется толпа мексиканцев. В углу – барная стойка. Она прямо-таки ломится от самого разнообразного алкоголя. Возле барной стойки стоит здоровенный мексиканец. У него в руках пиво и телефон. Ему тяжело стоять. Это он жаловался на проблемы с Wi-Fi.

Мы объясняем, что вот в это поле мексиканец должен ввести свой номер мобильного: Общаемся на английском.

Вы помните номер вашего телефона? – Назовите нам номер вашего телефона.

Сначала он вообще не помнит номер своего телефона, но с третьей попытки все-таки его вспоминает. Мексиканца шатает. Мы продолжаем объяснять:

Покажите Ваш паспорт болельщика, пожалуйста. – Теперь вы должны ввести номер FAN ID.

По-моему, для селфи все это слишком сложно. – Послушайте, – отвечает он, – я просто хочу выложить селфи в Instagram. Вы очень гостеприимные, до свидания. Поэтому я просто буду смотреть футбол и обойдусь без селфи и без вас.

А еще в конце матча мне прислали видеозапись того, как болельщики облили пивом стюарда. Доступ в Интернет для мексиканца мы все-таки организовали. Нелегко вспомнить номер своего телефона, когда вокруг тебя бурлит магия Мундиаля.

Источник

18 июня 2018 года

Каждый раз после матча мы проводим внутреннее совещание, на котором обсуждаем итоги мероприятия, можно ли повысить качество работы инфраструктуры и как это сделать. В этот раз совещание было посвящено решению на Raspberry Pi, которое во время матча Россия-Мексика заработало в полную силу, но удивило нас странной статистикой. Утром, когда на стадионе никого не было, Raspberry информировали нас о том, что Wi-Fi работает нормально. Однако, как только болельщики начали занимать свои места, все миникомпьютеры начали информировать нас о полном отсутствии сервиса. Одновременно Splunk и подсистема отчетности WNAM сообщали, что подключения идут нормально. Получается, что данные противоречат друг другу.

Было решено выпустить новую версию скрипта, которая будет содержать 15 дополнительных проверок. В ходе пошаговой отладки скрипта Raspberry выяснилось, что его надо существенно дорабатывать, так как в текущем виде он выдает огромное количество ложных ошибок. Еще одной возможностью системы стало отображение на страницы статистики в Splunk’е скриншотов страницы аутентификации для визуальной оценки возможных проблем. Заменили достаточно тяжелый браузер Firefox на PhantomJS, что в итоге позволило в два раза повысить скорость выполнения проверок.

Для оперативной заливки новых версий скрипта на 50 устройств решили установить оркестратор Ansible.

Оказалось, все микрокомпьютеры помимо кодов получали и другие SMS-сообщения, например, спам или сообщения от МЧС об ухудшении погоды. Анализ скрипта выявил и совершенно неочевидные вещи: например, был момент, когда все Raspberry начали ругаться на неверные одноразовые пароли. В цикле проверки такие SMS-сообщения попадали в буфер раньше сообщений, сгенерированных WNAM’ом, и, соответственно, воспринимались скриптом как одноразовый пароль.

20 июня 2018 года. Матч «Португалия-Марокко»

«Да что, черт побери, делать с этим Марокко?» – в порыве воскликнул наш инженер, занимающийся мониторингом WNAM, когда увидел растущую очередь отправки исходящих SMS-сообщений без delivery report. У нас в логах была статистика по отправке SMS-сообщений по всем операторам, у которых в открытых базах есть коды, и мы могли видеть, в какие страны SMS приходят нормально, а в какие – с задержкой. Королевство Марокко занимало в нашей статистике прочные аутсайдерские позиции. В начале второго тайма было принято решение переадресовать рассылку на другого SMS-оператора, и это несколько улучшило ситуацию.

26 июня 2018 года. Матч «Дания-Франция»

Источник

Просмотр трансляции нужен нам, чтобы чувствовать динамику активности клиентов Wi-Fi: во время игры она падает, а в перерывах наоборот растет. По телевизору привычно шла прямая трансляция матча со стадиона.

Поэтому мы посвятили матч отладке скриптов Rasberry и настолько увлеклись этим процессом, что только к концу матча поняли: все это время по телевизору шла трансляция совершенно другого матча, не со стадиона Лужники, а со стадиона Фишт. По сравнению с матчем «Португалия-Марокко» сопровождение выдалось более спокойным, так как Дания и Франция – европейские страны и статистика по SMS для них ожидаемо оказалась лучше, чем для Марокко.

В метро после матча ко мне с расспросами пристал какой-то мужик:

– Слушай, а кто только что играл на Лужниках?

Я с трудом вспоминаю названия команд:

Да, Франция. – Дания и Франция.

– А какой счет?

Когда мужик понял, что я еду со стадиона и не знаю счета, он посмотрел на меня с нескрываемым изумлением. Счет я совершенно не помню, так так матч не смотрел, о чем и сообщил.

11 июля 2018 года, матч «Англия – Хорватия»

В середине второго тайма на межсетевом экране обнаружилась подозрительная сетевая активность одного из подключившихся абонентов. Межсетевой экран блокировал с его IP-адреса большое количество соединений по нестандартным портам (которые были закрыты политикой межсетевого экранирования). Запросы шли в Россию, страны СНГ и Европы. Поскольку это был инцидент ИБ, безопасники с энтузиазмом взялись за дело.

Позвонили по указанному номеру. По логам WNAM вычислили номер телефона, на который зарегистрирован абонент. Сообщили какому-то мужику, что видим с телефона подозрительную сетевую активность и посему хотели бы уточнить не хакер ли он. Представились службой эксплуатации Лужников. Мы сказали, что в таком случае, если он не возражает, заблокируем ему доступ в сеть. Мужик на другом конце линии сообщил нам, что совершенно ничего не понимает. Сложилось некоторое впечатление, что он даже поддержал данную инициативу. Мужик не возражал. Мы заблокировали доступ и передали логи инцидента заказчику.

15 июля 2018 года, матч «Франция-Хорватия», финал

В середине первого тайма к нам в штаб зашел представитель службы эксплуатации «Лужников». Он привел с собой зрителя, которому мы звонили во время прошлого матча. Оказалось, мужчина проявил активную позицию, связался со службой эксплуатации «Лужников» и попросил организовать встречу. Он принес с собой телефон и заявил, что не предпринимал никаких попыток взлома, так что он несколько встревожен и хотел бы понять, какие к нему претензии.

Мы порекомендовали человеку просканировать телефон антивирусом, удалить лишнее ПО и воздержаться от использования торрент-клиента. У него оказался недорогой Android-смартфон от Samsung, беглый осмотр которого выявил установленный на нем торрент-клиент, а также много другого ПО сомнительного происхождения, которое, вероятно, и генерировало подозрительную активность.

Заключение

За четыре с половиной года работы мы построили с полсотни слаботочных и ИТ-систем и три дата-центра, повесили полторы тысячи камер и 650 ТВ-панелей, настроили ЛВС на 12 тысяч портов и сделали аж две сети Wi-Fi высокой плотности для болельщиков Чемпионата – 430 точек доступа Cisco в чаше стадиона и 650 точек доступа HP в подтрибунном пространстве. Участие ЛАНИТ в реконструкции ИТ-инфраструктуры Большой спортивной Арены «Лужники» к Чемпионату мира завершилось.

Какие неочевидные особенности были выявлены у решения в ходе пуско-наладки и опытной эксплуатации HD WiFi на БСА Лужники:

  • SMS-аутентификация – это не решение 'из коробки'. Развертывание эффективной системы требует высококвалифицированной настройки 'под себя' и активного мониторинга.

    Хотя RADIUS – это стандартный протокол, у него есть свои особенности взаимодействия с каждой моделью контроллера. Это – разработка портала аутентификации, настройка взаимодействия с SMS-оператором, и на закуску самое сложное – настройка интеграции с контроллерами Wi-Fi. Нам повезло: с контроллерами Cisco 8510 и HPE870 WNAM заработал, причем дружить с HPE870 он отказывался практически до последнего. Некоторые модели контроллера вообще не получится интегрировать. Если человек переходил от зоны действия одной сети к зоне действия другой, сессии, конечно, обрывались, но за счет наличия общей базы данных абонентов переключение проходило более-менее незаметно. За счет интеграции с WNAM обоих контроллеров хоть как-то удалось решить задачу роуминга между сетями Wi-Fi на Cisco и HPE.

  • Доставка SMS не всегда работает так, как хотелось бы. Особенно когда речь идет об экзотических странах.

    Одна их них — спам-фильтры на стороне SMS операторов. Есть куча причин, по которым SMS может прийти слишком поздно (мы знаем пару венгров, которые ждали SMS с кодом по 5 минут),  либо не прийти вообще. Последовательность из нескольких одинаковых сообщений одному и тому же номеру тоже может быть воспринята оператором как спам и заблокирована. Например, одноразовый код доступа в SMS практически гарантированно не придет абоненту с иностранной SIM-картой, если идентификатор отправителя будет представлять собой не номер телефона, а имя (например, Luzhniki). Проблема усугубляется тем, что иногда сообщение передает не один, а цепочка неизвестных вам SMS-операторов, у каждого из которых – свои настройки спам-фильтров.

  • Абонент может отказаться от аутентификации по совершенно неочевидным причинам.

    Нормальной считается ситуация, когда доступ в интернет получает 50% от тех, кто попадал на портал аутентификации. Не всем нравится идея сообщать номер своего мобильного телефона в обмен на доступ в интернет. Возможно, с этим удастся что-то сделать. Тем не менее, для повышения качества сервиса всегда полезно выяснять причины, по которым абоненты пытались зарегистрироваться в сети, но в Интернет не попали.

  • HD Wi-Fi нужен болельщикам на стадионе куда меньше, чем нам хотелось бы.

    Среди методов, которыми мы пользовались для увеличения числа пользователей, сработали: голосовые и текстовые объявления о том, что на объекте работает бесплатный Wi-Fi, а также добавление на портал аутентификации детальной инструкции по подключению. Когда мы проектировали HD Wi-Fi, мы рассчитывали, что им одновременно воспользуется 20% болельщиков, хотя на всех матчах показатели оказались ниже этого значения.

  • Вы никогда не будете единственным, кто раздает Wi-Fi на объекте.

    Причем это были как сотовые телефоны, раздающие Wi-Fi, так и специальные решения зарубежных операторов, например, Skyroam и Roamingman. Во время последнего матча мы запустили сканирование сети на предмет Rogue AP и только на трибунах стадиона насчитали более 3000 «чужих» устройств, работающих в режиме точки доступа. Возле входных турникетов висело объявление, запрещающее раздавать на стадионе Wi-Fi, но не похоже, что оно хоть как-то работало.

  • Проактивный мониторинг Wi-Fi HD, имитирующий активность пользователей, может быть эффективен, но требует больших трудозатрат при внедрении и сопровождении

    Разумеется, Raspberry капризничали, а написание и отладка скриптов заняли у нас много времени. Намного веселее получать данные от микрокомпьютеров Raspberry, чем сидеть и ждать очередной жалобы от недовольных пользователей. К тому же, всякий раз, когда кто-то обращался к нам с вопросами о работе Wi-Fi HD у его девушки, нам было что ему ответить. Зато это позволило взглянуть на сервис Wi-Fi HD с другого ракурса, направило процесс мониторинга в более конструктивное русло и в итоге действительно помогло нам локализовать несколько «плавающих» ошибок, что позитивно сказалось на качестве сервиса.

Теги
Показать больше

Похожие статьи

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»
Закрыть