Big Data

  • Хабрахабр

    Анонс: Ultimate Guide по карьере в AI от профессионала: выбрать специальность, прокачаться и найти классную работу

    ЗАВТРА, 3 августа в 20:00 пройдет эфир с Сергеем Ширкиным о том, как построить успешную карьеру в AI. Стрим можно будет посмотреть в любых наших соцсетях — где удобно, там и смотрите. Сергей Ширкин стоит у истоков факультетов Искусственного интеллекта, Аналитики Big Data и Data Engineering онлайн-университета Geek University, на которых работает деканом и преподавателем. [embedded content] Изучал биостатистику в…

    Подробнее »
  • Хабрахабр

    Опрос про Big Data в российских IT: где уже применяются и какое у них будущее

    Кажется, внимание IT индустрии смещается от шумихи вокруг больших данных к поиску реальной ценности в их использовании. И пока одни присматриваются и оценивают, стоит ли игра с big data свеч, другие уже инвестируют и внедряют технологию во все сферы IT. При этом, согласно статистике Forbes, в 2018 году мировой рынок больших данных оценивался в 42 миллиарда долларов, а к 2027 году он, как ожидается, достигнет 103 миллиардов долларов. Мы решили копнуть глубже и оценить, насколько в отечественных компаниях популярно использование больших данных,…

    Подробнее »
  • Хабрахабр

    Apache Airflow: делаем ETL проще

    Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт». Я расскажу вам о замечательном инструменте для разработки ETL-процессов — Apache Airflow. Но Airflow настолько универсален и многогранен, что вам стоит присмотреться к нему даже если вы не занимаетесь потоками данных, а имеете потребность периодически запускать какие-либо процессы и следить за их выполнением. И да, я буду не…

    Подробнее »
  • Хабрахабр

    [Из песочницы] Аномалии общероссийского голосования по поправкам к Конституции России. Часть 1

    Общероссийское голосование по вопросу одобрения изменений, вносимых в Конституцию Российской Федерации, проводилось с 25 июня по 1 июля 2020 года (wikipedia). Основная цель данной заметки — это продемонстрировать как можно быстро начать работать с данными голосования и показать наличие определенного вида аномалий в них. Все вычисления, визуализации и парсинг данных приведены в Google Colab, который доступен по этой ссылке google…

    Подробнее »
  • Хабрахабр

    [Перевод] Продвинутый уровень визуализации данных для Data Science на Python

    Как сделать крутые, полностью интерактивные графики с помощью одной строки Python Когнитивное искажение о невозвратных затратах (sunk cost fallacy) является одним из многих вредных когнитивных предубеждений, жертвой которых становятся люди. Это относится к нашей тенденции продолжать посвящать время и ресурсы проигранному делу, потому что мы уже потратили — утонули — так много времени в погоне. Заблуждение о заниженной стоимости применимо…

    Подробнее »
  • Хабрахабр

    [Перевод] Распределенное обучение с Apache MXNet и Horovod

    Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных» Распределенное обучение на нескольких высокопроизводительных вычислительных экземплярах может сократить время обучения современных глубоких нейронных сетей на большом объеме данных с нескольких недель до часов или даже минут, что делает эту технику обучения превалирующей в вопросах практического использования глубокого обучения. Пользователи должны понимать, как делиться и синхронизировать данные на…

    Подробнее »
  • Хабрахабр

    Лучшие data-продукты рождаются в полях

    Большинство наших интернет-заказов собираются с торговых залов магазинов, а не со складов. Это приводит к ошибкам между тем, что показывается на сайте, и тем, что мы можем реально собрать в интернет-заказ.Из-за высокой скорости оборота товаров в магазинах и сложности систем управления стоком возникают ошибки, которые можно обнаруживать автоматически. Опираясь на наши знания систем и используя социальный инжиниринг, мы предложили решение, которое позволяло бы автоматически находить проблемные товары и корректировать их сток перед публикацией на сайте. Меня зовут Марина…

    Подробнее »
  • Хабрахабр

    Расчет факторов в антифроде. Доклад Яндекса

    Антифрод — сервис по поиску и нивелированию случаев эксплуатации других, общедоступных сервисов Яндекса. Три года назад мы начали проектировать платформу, позволяющую быстро и легко развернуть антифрод где угодно в компании. Сложность задачи в том, что многим сервисам нужны максимально строгие гарантии по скорости, надежности и качеству; часть из них оперирует очень большими объемами данных. Команде антифрода, в свою очередь, важна…

    Подробнее »
  • Хабрахабр

    [Из песочницы] 9 ключевых алгоритмов машинного обучения простым языком

    Привет, Хабр! Представляю вашему вниманию перевод статьи «9 Key Machine Learning Algorithms Explained in Plain English» автора Nick McCullum. Машинное обучение (МО) уже меняет мир. Google использует МО предлагая и показывая ответы на поисковые запросы пользователей. Netflix использует его, чтобы рекомендовать вам фильмы на вечер. А Facebook использует его, чтобы предложить вам новых друзей, которых вы можете знать. Машинное обучение…

    Подробнее »
  • Хабрахабр

    Видеоаналитика в нефтехимии

    Привет! Как мы уже неоднократно писали, наши объекты — это довольно большие производства, как с точки зрения занимаемой площади, так и количества различных установок и узлов. Чтобы всё это работало и не возникало каких-то ситуаций, способных вызвать остановку производственного процесса, за каждым узлом нужно следить. Поэтому у нас есть и специальные люди, которые этим занимаются, и приложение для мобильных обходов,…

    Подробнее »


Кнопка «Наверх»
Закрыть