Хабрахабр

Яндекс.Метеум – технология без технологии. Маркетинг с точностью до района

Прошло ровно 3 года с момента запуска сервиса «Яндекс.Метеум», который по заявлению разработчиков выдаёт самые качественные прогнозы среди всех прогностических сайтов. Пришло время подвести итоги. Действительно ли новый продукт Яндекса является революционным или всё это лишь маркетинговый пшик? И как команде ученых из Гидрометцентра России удалось обойти Яндекс и создать по-настоящему качественный прогноз.

Меня зовут Илья Винштейн, я синоптик-любитель из Кургана. image
Для начала представлюсь. Администрирую свой региональный проект «Погода 45», давал несколько лекций для научно-просветительского проекта «Курилка Гутенберга».
Метеум. Занимаюсь метеорологией 14 лет. Начало

Метеум» я обозначил ещё в начале 2016 года, но на тот момент я располагал очень маленьким объёмом данных, чтобы делать однозначные выводы. Проблему качества прогнозов сервиса «Яндекс. Если в самом начале они использовали слоган «Прогноз с точностью до дома», то потом изменили его на «Прогноз с точностью до района». Главным образом я раскритиковал ту информационную кампанию, которую запустил Яндекс.

Было множество публикаций в СМИ, несколько публикаций на Хабре, потом пошли короткие научпоп ролики, объясняющие создание первого прогностического сервиса на базе нейросети. В какой медиаформе происходило рождение Метеума? Создание Метеума пришлось на тот период, когда нейросети были очень популярны, а СМИ преподносили их как панацею, способную решить множество проблем человечества.

Обычное обновление дизайна и добавление новых функций – не вариант, а ведь главная цель обновления – это привлечение новой аудитории от конкурентов. На волне общего нейроажиотажа в Яндексе приняли решение обновить свой основной метеораздел. Не просто погодный раздел, а абсолютно новый сервис, способный прогнозировать погоду лучше всех остальных конкурентов. Единственным способом было изменение парадигмы восприятия сервиса. Погода», а «Яндекс. Не просто «Яндекс. Метеум» – система, способная выдавать прогноз с точностью до дома или района.

Кто будет проверять качество прогнозов? Проблема заключается в том, что конечный продукт сложен в плане оценки и получения обратной связи. В нашем случае качество конечного продукта потребитель оценить не в состоянии, поэтому ему «впарить», можно всё что угодно. Как будет происходит оценка фидбэка от пользователей? На эту уловку клюют юзеры всех прогностических сайтов.

За все 3 года Яндекс так и не предоставил нам никаких объективных цифр. Поэтому вся информационная кампанию по запуску Метеума смахивает на антинаучный фарс. Ни одного отчёта по оправдываемости мы не увидели.

Все цифры свелись к этому:

Например, температурный прогноз на 24 часа у нас ошибается на 35% меньше ближайшего конкурента». «По нашим собственных оценкам (увы, независимых измерителей в этой области пока нет), на сегодня наш прогноз погоды точнее всех известных нам конкурентов.

Это абсолютная ложь. Объясню почему. Если бы на дворе был 1960-й год, тогда это утверждение было абсолютно справедливым, но сейчас краткосрочные прогнозы уже достигли определенного потолка. Борьба идёт за проценты и даже десятые доли процентов. Например, по данным Гидрометцентра России точность прогноза температуры воздуха по России в 2017 году на сутки составила 93%. Речь идёт о тех прогнозах, которые выдавали синоптики местных гидрометцентров. У прогностических сайтов и компьютерных моделей точность варьируется от 85% до 95%. Никаких 35% тут нет и быть не может!

Как это происходит в мире науки?

Познакомьте мир с этой технологией. Допустим, что Яндексу удалось создать революционный продукт, который действительно обходит всех конкурентов. Почему бы не начать со статьи в каком-нибудь научном журнале? Пускай команда Яндекса покажет всему миру, что им удалось создать. Я понимаю, что может быть не стоит раскрывать всех карт, ведь продукт, по сути, имеет коммерческую составляющую, в этом нет ничего плохого, но только в том случае, если этот продукт действительно работает.

Обычно подопытными зайцами выступают архивные данные. Любая научная методика прогнозирования проходит этап тестирования. После этого прогноз сопоставляется с фактическими сводками метеостанции. В некоторых случаях приходится собирать данные в течение года или нескольких лет, а уже затем публиковать статью. Высчитывается масса параметров: средняя арифметическая ошибка температуры, средняя абсолютная ошибка температуры, относительная ошибка и оправдываемость в процентах. Прогностические поля соотносятся с фактическими. Затем на основе результатов оперативных испытаний специальная методическая комиссия принимает решение – рекомендовать использование данного метода прогноза или отказать.

Где эти данные? А теперь вопрос к разработчикам Яндекса. «У нас самые точные прогнозы, верьте нам», – заявляют в Яндексе. Где эти статьи и исследования? Нечем хвастаться. Нечего показывать.

У вас документов нет.
Цифры у нас есть, но мы их вам не покажем.

Ансамблевые и мультимодельные прогнозы

Что это значит? В последнее время среди синоптиков большую популярность завоевали ансамблевые, мультимодельные и комплексные прогнозы. Главным источником всех прогнозов являются компьютерные модели. Для начала немного теории. Главной пищей для моделей являются спутниковые данные во всех видимых и невидимых спектральных диапазонах. Программы, которые моделируют всю атмосферу Земли начиная от почвы и заканчивая верхними слоями стратосферы. Если исключить из моделей слой метеостанций, то качество упадёт на 7%, а если исключить спутниковые данные, то на 35-40%. Данные наземных станций сейчас уже не имеют столь сильного влияния на качество прогноза. В мире насчитывается 11 глобальных моделей и ещё десяток региональных.

Не каждое государство способно создать собственную качественную модель. Компьютерные модели очень, очень сложны! Она существует, но практически нигде не используется. Например, отечественная модель ПЛАВ занимает 8 позицию в рейтинге мировых моделей.

Всё остальное, это вопрос внутренней обработки и интерпретации данных. По этой причине большинство сайтов и приложений используют всего 2-3 модели. Эту модель использует Foreca, intellicast и Gismeteo. Например, сейчас самой лучшей моделью является Европейская модель среднесрочного прогнозирования погоды (ECMWF). Как я уже сказал, обработка прогнозов сводится к внутренним паттернам, которые занимаются «шлифовкой» сырых файлов модели. НО! Дальше будут цифры подтверждающие это. Gismeteo делает это хуже всех, а Intelicast – лучше.

Один прогон компьютерной модели – это в чистом виде детерминированный прогноз по принципу «как есть». Ладно, с этим разобрались. Мельчайшие начальные возмущения приводят к огромным ошибкам в среднесрочной перспективе. Главной проблемой детерминированных прогнозов – являются ошибки в начальных данных, которые приводят к эффекту бабочки. Представьте себе обычный детерминированный прогноз. Чтобы решить эту проблему учёные разработали ансамблевые прогнозы. В этот прогноз с помощью генератора псевдослучайных чисел вносится искусственная ошибка.

Американская модель GFS.
Ансамблевый прогноз. 20 членов.

Затем выстраивается график, где видно, насколько прогноз чувствителен к ошибкам в начальных данных. И так делается ещё 20 или 50 раз. Если детерминированный прогноз выдаёт потепление через 10 дней, а 20 ансамблевых членов уходят вниз, то есть выдают похолодание, значит, детерминированный прогноз на этот срок ошибочен.

Они стали синхронизировать детерминированные прогнозы и создавать мультимодельные прогнозы, когда прогноз строится не на основе одной модели, а сразу десятка. Но учёные пошли ещё дальше.

11 моделей
Мультимодельный прогноз для Москвы на сайте meteoblue.

Следовательно, вероятность осадков составляет 70%. Например, 7 моделей выдают осадки через 5 дней, а 3 прогнозируют сухую погоду. Вкупе рекомендуется смотреть ещё и ансамблевый прогноз.

Как Гидрометцентру удалось обойти Яндекс? А сейчас мы подобрались к самой сути.

Комплексный прогноз

Она была опубликована в журнале «Метеорология и гидрология» в статье под названием «Комплексный прогноз приземных метеорологических величин». В 2014 году руководитель отдела гидродинамических краткосрочных прогнозов Гидрометцентра России и заслуженный метеоролог Алексей Багров вместе со своей командой разработал простую, но принципиально новую статистическую схему обработки сырых прогностических данных.

Комплексный прогноз получен путём статистической обработки результатов включенных моделей. Суть методики проста, но в этом её превосходство. Расчёт ведется отдельно для каждой станции и для каждой заблаговременности прогноза. При этом для температуры воздуха, ветра и точки росы привлекается архив прогнозов за предшествующие 20 дней по соответствующим моделям и фактические данные на станции, а для осадков аналогичный архив за один год.

Детально методика описана в самой статье. Если ещё проще, то Багров предлагает выполнять статистическую корректировку прогнозов лучших моделей на основе фактических данных местной метеостанции. Расчёт максимальной и минимальной температуры выполняется с учетом погрешности за последние 5 или 3 суток. Здесь я остановлюсь на некоторых основных моментах. Таким образом, прогноз сам себя автоматически корректирует, опираясь на предыдущие отклонения в сторону завышения или занижения. Например, за последние 5 суток наши модели занижали температуру в среднем на 2 градуса, поэтому нам надо включить эту погрешность в последний прогноз и стабилизировать прогноз до наиболее вероятного значения.

В сентябре 2018 года результаты тестов были опубликованы в журнале «Russian Meteorology and Hydrology». 4 года прогноз находился в стадии тестирования. Отмечу, что все 4 года прогноз публиковался на сайте методического кабинета Гидрометцентра России. Кратко результаты исследования анонсированы здесь. Каждый месяц публиковался отчёт оправдываемости. Он рассчитывался для 224 городов России. Они продолжают выходить и по сей день.

Скромно и тихо – создали лучший прогноз

Они автоматически собирали прогнозы 7 различных прогностических сайтов и анализировали их точность. В Гидрометцентре России сделали то, что не мог сделать никто другой. Ниже представлены данные за 1,5 года — с января 2016 по июнь 2017 года для Москвы, Санкт-Петербурга и Якутска.

— 30 июня 2017 г.
Средняя абсолютная ошибка прогнозов минимальной (а) и максимальной (б) температуры по городам: Москва, Санкт-Петербург, Якутск за период 1 января 2016 г. Прогнозы сайтов: 1 — Meteoinfo.ru; 2 — Gismeteo.ru; 3 — Fobos (meteovesti.ru); 4 — Rp5.ru; 5 — Yandex.ru; 6 — Intellicast.com; 7 — Комплексный прогноз Багрова.

Из данных видно, что на первые сутки по дневной температуре Яндекс обходит сразу 3 ресурса: meteoinfo, intellicast и комплексный прогноз Багрова. Подобрались к самой сути. На 3-4 сутки лидирует Intellicast и комплексный прогноз. Последний показывает самую низкую погрешность на 1-2 сутки. Яндекс только на 3 позиции.

На первые сутки его средняя погрешность 2 градуса — это очень много. Обратите внимание, что самый популярный в Рунете Gismeteo не такой уж и точный. Антилидером рейтинга является сайт meteovesti.ru

Ещё в начале 2018 года на сайте методического кабинета Гидрометцентра России появился раздел «Оценка прогнозов на различных интернет-сайтах». Не стоит думать, что свежих данных больше нет. В разделе публикуются данные по 47 городам как по отдельности, так и вместе.

Изучим его. Многие могут сказать, что это устаревшие данные, но уже есть свежий отчёт оправдываемости за октябрь. Возьмём выборку из 27 городов для ЕТР.

На последующие 2-5 сутки intellicast слегка обходит Яндекс. Прогноз дневной температуры у Яндекса на одни сутки сопоставим в точностью intellicast и комплексным прогнозом. На первые сутки его обходит 3 сайта: meteoinfo, intellicast и комплексный прогноз. С прогнозом ночной температуры у Метеума всё несколько хуже. На 6 сутки Яндекс обгоняет intellicast и meteoinfo. На последующие сутки тенденция сохраняется.

Практически во всех случаях Яндекс обходит тройка meteoinfo, intellicast и комплекс. Для азиатской территории распределение примерно схожее. Да, это так. Многие заметили, что неплохую точность выдаёт официальный сайт Гидрометцентра meteoinfo. Эта схема неплоха, но несколько хуже, чем комплексный прогноз. Сейчас на сайте применяется самостоятельная статистическая схема обработки модельных данных под названием РЭП (расчёт элементов погоды). Обращаю внимание, что все эти схемы обработки данных были придуманы задолго до создания пропиаренного Яндекс. Зимой она плохо прогнозирует ночное выхолаживание. Метеума.

Проблемы вывода и отображения

Когда пользователь заходит на погодный сайт, он первым делом смотрит прогноз на 10 суток, получая общую картину изменения температуры. Недостаточно создать качественный прогноз, необходимо ещё научиться его адекватно отображать для обывателей. Например, на сайте указано, что днём будет +15 градусов, но потом вы открываете график хода температуры и понимаете, что эти +15 будут ночью, а днём температура будет ниже! Но если копнуть глубже, посмотрев ход температуры, то откроется множество нюансов. Проблема вывода максимальной и минимальной температуры здесь заключается в том, что значение min и max захватываются со всего временного ряда, не разделяя день и ночь. Такая ситуация называется обратным ходом температуры, когда ночью теплее, чем днём. Этим грешат все сайты. С точки зрения обывателя – это обман. Минимальная отмечается с 20 до 08 часов, опять же, в зависимости от сезона и синоптической ситуации. Максимальная температура обычно фиксируется с 08 до 20 часов, в зависимости от времени года, синоптической ситуации и координат метеостанции. Например, главная метеостанция Москвы на ВДНХ отправляет максимальную температуру в 21 час, а минимальную в 9 часов.
Ниже я привёл ситуации нетипичного температурного хода, когда важно захватывать максимальную и минимальную температуру не со всего временного ряда, а в строго установленные промежутки. Это называется метеорологические сутки. Если условия не выполняются, то пользователь будет обманут, даже несмотря на качественный прогноз.

В Яндексе решили использовать сырые файлы компьютерного реанализа CFSR (NCEP) за последние 7 лет, создавая малую климатическую выборку. Другая проблема заключается в том, что пару лет назад Яндекс стал выдавать климатические данные за долгосрочный прогноз, что не совсем правильно. Также на сайте появился параметр «Вероятность осадков», который аналогичным образом вычислялся за последние 10 лет на основе компьютерного реанализа, но здесь есть серьезная проблема. Сейчас они перешли на период осреднения 10 лет, что не меняет ситуацию. Поэтому правильнее усреднять данные по метеостанции, а не по компьютерному реанализу. Компьютерный реанализ очень плохо моделирует конвективные ливневые осадки и слабые снегопады зимой, поэтому Яндекс мог выдавать 0% вероятность, а по данным метеостанции она была 50%, только лишь по той причине, что на метеостанции есть осадкомер, который фиксирует реальные осадки, а не виртуальные. совет) в список предложений наших пользователей. Я написал в Яндекс и получил ответ: «Мы добавили его (прим. Спустя 6 месяцев ничего не изменилось. Наши специалисты всегда знакомятся с этими идеями, когда готовят какие-либо изменения на сервисе, и стараются, по возможности, учитывать их».


Остаться в живых (с)

Она обновляется 4 раза в сутки и считает прогноз на 9 месяцев вперёд. Также я предложил Яндексу вместо осреднения данных за 10 лет использовать прогнозы долгосрочной климатической модели CFSv2. Зато это реальный прогноз, а не исторические сведения. Разумеется, речь о получении среднедекадных или среднемесячных данных. Например, сейчас модель выдаёт, что ноябрь на Европейской части России будет тёплым и сухим.

Эти сервисы предоставляют в разы больше информации по различным моделям. Особенно забавно было наблюдать за тем, как Яндекс эпично выкатывал прогностические карты, хотя на тот момент уже существовали earth.nullschool.net, windytv.com и ventusky.com. Ну-ну. В Яндексе написали, что главное отличие от них в том, что у них выше точность.

Проблема ночного выхолаживания

В чём проблема? Сейчас в синоптической метеорологии по-прежнему остро стоит вопрос с прогнозированием ночной температуры в условиях антициклонального выхолаживания воздуха. Например, в Кургане по большинству прогнозов ночью температура опустится до -30 градусов: будет ясно, давление повысится, над областью пройдёт ядро антициклона. Проблема в том, что компьютерные модели практически всегда в такой синоптической ситуации завышают температуру. Но по факту минимальная может опуститься до -35... Идеальные условия для выхолаживания. Когда Яндекс запустил Метеум, я думал, что наконец-то удастся решить эту проблему. -37 градусов! На данный момент в мире есть лишь 2 модели, способные адекватно высчитывать эту температуру. Но уже, которую зиму Яндекс продолжает завышать ночную температуру в условиях выхолаживания. Вторая – североамериканская NAEFS. Первая – канадская модель GEM. Ещё с выхолаживанием справляется комплексный прогноз Багрова, как раз за счёт статистической корректировки на основе местной метеостанции. В остальных синоптических ситуациях эти модели не показывают ничего выдающегося, поэтому моя задача как синоптика заключается в том, чтобы в нужный момент включить эти модели в прогноз, а потом в нужный момент исключить их из прогноза.

Вывод

Напротив, Яндекс уступает по качеству таким ресурсам как intellicast, meteoinfo и комплексный прогноз Багрова, публикуемый на сайте методического кабинета Гидрометцентра России. Полученные данные позволяют достаточно уверенно сказать, что температурный прогноз Яндекса по технологии «Метеум» не показывает каких-то исключительных результатов по сравнению с уже зарекомендовавшими себя прогностическими сервисами. Худшими метеосервисами можно назвать Gismeteo и meteovesti.ru

У одного цель – это достижение результата, в нашем случае высокой точности. Есть наука, а есть маркетинг. Да, Гидрометцентр, это государственная организация, которая не обладает такими рекламными бюджетами и возможностями, как у Яндекса, но главное, что там ещё остались люди, способные создавать не деньги, а науку. В другом – цель это выгода и получение мнимого и раздутого достижения не несущего никакой практической значимости для обывателей.

Показать больше

Похожие публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Кнопка «Наверх»