Big Data

  • Хабрахабр

    Краудсорсинг в ML Boot Camp. Считаем mIOU без картинок для новой задачи от Одноклассников

    Привет! Лето — жаркое. Организаторы «айтишных» чемпионатов много сидели на солнце, сгорели и схватили удар, но главное — собрали новую задачу для очередного (уже девятого) контеста на платформе ML Boot Camp. Чемпионат пройдёт онлайн в течение месяца. Сейчас на платформе зарегистрировано более 10 тысяч специалистов. Часто бывает, что задачи, которые на ней появляются, не всем по зубам (богам Kaggle в…

    Подробнее »
  • Хабрахабр

    Большие данные — большая ответственность, большой стресс и большие деньги

    Как ИИ поработит людей, а блокчейн построит идеальную экономику — так и большие данные позволят знать абсолютно все про всех и видеть будущее. Термин Big Data подпорчен современным фантастическим преувеличением новых вещей. В больших данных нет никакой магии — как нет ее нигде — просто информации и связей между разными данными становится так много, что обрабатывать и анализировать все старыми…

    Подробнее »
  • Хабрахабр

    [Перевод] Парсим 25TB с помощью AWK и R

    Как читать эту статью: прошу прощения за то, что текст получился таким длинным и хаотичным. Чтобы сэкономить ваше время, я каждую главу начинаю со вступления «Чему я научился», в котором одним-двумя предложениями излагаю суть главы. «Просто покажи решение!» Если вы хотите всего лишь увидеть, к чему я пришёл, то переходите к главе «Становлюсь изобретательнее», но я считаю, что интереснее и…

    Подробнее »
  • Хабрахабр

    PyDaCon meetup в Mail.ru Group: 22 июня

    Вас ждут 2 секции: доклады по Python, состав которого был сформирован на основе общего списка докладов к PyCon Russia и PyData-трек от PyData Moscow meetup. 22 июня Mail.ru Group проводит совместный митап с организаторами конференции PyCon Russia и PyData Moscow meetup. В программе мероприятия: keynote, технические доклады, викторина и много полезного общения. Keynote: «Как использовать JupyterHub на 100% на примере…

    Подробнее »
  • Хабрахабр

    Обучение логистической регрессии с L1 и L2 регуляризациями с методом SGD

    Хабр, привет. Сегодня у нас пост с интересным заданием — будем обучать логистическую регрессию с L1 и L2 регуляризациями с помощью метода Stochastic Gradient Descent (SGD). Перед тем как приступить к статье и коду, беглым шагом пробежимся по основным понятиям L1 и L2 регуляризации, логистической регрессии и стахостического градиентного спуска (Stochastic Gradient Descent — SGD). Итак, самое время поставить перед…

    Подробнее »
  • Хабрахабр

    Разбираемся с Machine Learning в Elastic Stack (он же Elasticsearch, он же ELK)

    Одно из приятных дополнений всего перечисленного стека продуктов — анализ данных при помощи алгоритмов машинного обучения. Напомним, что в основе Elastic Stack лежат нереляционная база данных Elasticsearch, веб-интерфейс Kibana и сборщики-обработчики данных (самый известный Logstash, различные Beats, APM и другие). Просим под кат.Машинное обучение — платная функция условно-бесплатного Elastic Stack и входит в пакет X-Pack. В статье мы разбираемся что…

    Подробнее »
  • Хабрахабр

    Аппаратное ускорение глубоких нейросетей: GPU, FPGA, ASIC, TPU, VPU, IPU, DPU, NPU, RPU, NNP и другие буквы

    TSMC, если знаете, делает нейроускорители для Apple и Huawei по технологии 7 nm (которой мало кто владеет), а Huawei по нейропроцессорам готова составить серьезную конкуренцию Google и NVIDIA. 14 мая, когда Трамп готовился спустить всех собак на Huawei, я мирно сидел в Шеньжене на Huawei STW 2019 — большой конференции на 1000 участников — в программе которой были доклады Филипа…

    Подробнее »
  • Хабрахабр

    Введение в свёрточные нейронные сети (Convolutional Neural Networks)

    Полный курс на русском языке можно найти по этой ссылке. Оригинальный курс на английском доступен по этой ссылке. Выход новых лекций запланирован каждые 2-3 дня. Интервью с Себастьяном — Итак, мы снова с Себастьяном в третьей части этого курса. Себастьян, я знаю, что вы проводили много разработок с использованием свёрточных нейронных сетей. Можете нам рассказать чуточку больше об этих сетях…

    Подробнее »
  • Хабрахабр

    Большие данные в управлении отелем: использовать нельзя игнорировать

    source Вот уже совсем близко заветное «путешествие мечты», о котором так приятно будет потом вспоминать осенними и зимними вечерами. Близится сезон долгожданный сезон летних отпусков, и многие уже выбрали для себя то самое желанное туристическое направление, которое давало силы месяцами продираться сквозь дебри дедлайнов и овертаймов. В статье предлагается взглянуть на систему Booking.com «с другой стороны интерфейса», глазами тех, кто…

    Подробнее »
  • Хабрахабр

    Как ускорить разжатие LZ4 в ClickHouse

    При выполнении запросов в ClickHouse можно обратить внимание, что в профайлере на одном из первых мест часто видна функция LZ_decompress_fast. Почему так происходит? Этот вопрос стал поводом для целого исследования по выбору лучшего алгоритма разжатия. Здесь я публикую исследование целиком, а короткую версию можно узнать из моего доклада на HighLoad++ Siberia. А во время выполнения запросов ClickHouse старается почти ничего…

    Подробнее »


Кнопка «Наверх»
Закрыть