Главная » Архив меток: data science

Архив меток: data science

Личный опыт: Data Engineering на Upwork

Я много лет работал Data Engineer'ом и Data Scientist'ом, решал сложные бизнес-кейсы, строил большие системы, выводил это все в продакшен. В начале 2017го я бросил пить, курить и работать в офисе и ушел фрилансить, экспериментировать с альтернативными формами занятости. Довольно много времени я провел на Upwork. Судя по многочисленным комментариям, уважаемая аудитория не до конца представляет себе, что это такое. ...

Читать далее »

Зов Даты, или Как прошел второй хакатон Почты Mail.Ru

14-15 июля Почта Mail.Ru провела свой второй хакатон SmartMail Hack 2: Call of Data. Участникам нужно было разработать новое, интересное и полезное решение для представления данных из Почты. И по горячим следам спешим рассказать о победивших на хакатоне проектах. Как проходил хакатон Напомним вводную: Но, на самом деле, Почта — это огромное хранилище личных данных. «Мы все привыкли, что Почта ...

Читать далее »

[Из песочницы] Модели Эло и ЭлоБета в снукере

В нем есть всё: гипнотизирующая красота интеллектуальной игры, элегантность ударов киём и психологическая напряжённость соревнования. На протяжении многих лет я слежу за снукером, как за спортом. Но есть одна вещь, которая мне не нравится — его рейтинговая система. Такого недостатка лишена модель Эло, которая следит за "силой" игроков и обновляет её в зависимости от результатов матчей и "силы" соперника. Её ...

Читать далее »

Второй блин: анонс SmartData 2018

При подготовке первой нет ни возможности «сделать как раньше», ни зрительского фидбэка, и организаторам приходится делать смелые предположения. Чем первое проведение конференции отличается от второго? Но это значит, что после первого раза непременно появятся новые соображения, которые помогут во второй. Это не значит, что получится плохо. В прошлом году мы впервые провели конференцию SmartData, а теперь пришло время «второго раза»: ...

Читать далее »

Конструктивные элементы надежного enterprise R приложения

Естественно, что методы удобные для консольного пошагового применения человеком, который глубоко в теме, оказываются малопригодными для создания приложения для конечного пользователя. Тем, кто работает с R, хорошо известно, что изначально язык разрабатывался как инструмент для интерактивной работы. (говорим R, подразумеваем, в основном, Shiny web приложения).Однако, не все так плохо. Возможность получить развернутую диагностику сразу по факту ошибки, проглядеть все переменные ...

Читать далее »

Рубрика «Читаем статьи за вас». Февраль — Март 2018

Привет, Хабр! Продолжаем публиковать рецензии на научные статьи от членов сообщества Open Data Science из канала #article_essense. Хотите получать их раньше всех — вступайте в сообщество! Статьи на сегодня: Learning Semantic Segmentation with Diverse Supervision (University of Manitoba, Shanghai University, 2018) TVAE: Triplet-Based Variational Autoencoder using Metric Learning (Stanford University, 2018) Neural-Symbolic Learning and Reasoning: A Survey and Interpretation Overcoming ...

Читать далее »

Машинное обучение и экструдер полипропилена: история 3 места на хакатоне Сибура

Хакатон "Цифровой завод", организованный Сибуром и AI Community, состоялся на прошлых выходных. Одна из двух задач хакатона была на тему predictive maintenance — нужно было предсказывать проблемы в работе экструдера. Её мы и решили. Рассказ сосредоточен в основном на data science'ной части решения, и о том, как нам удалось научиться неплохо прогнозировать довольно редкие события. Зачем понадобилось прогнозировать остановки экструдера ...

Читать далее »

Постановка Data Science задач и взаимодействие с бизнесом

В этот раз снова о Data Science. Привет, Хабр. Думаю, многим знакома методология CRISP-DM, о которой говорят на большинстве курсов, но вот про первый пункт (business understanding) информации достаточно мало, в зря, ведь он очень важный. Давайте разберем все на примере. Поэтому в этой статье мы поговорим о взаимодействии с бизнесом и о том, какие обычно бывают проблемы и сложности ...

Читать далее »

[Перевод] Просто добавь воды: разработка с H2O.ai

Привет, Хабр! В течение последних нескольких лет интерес к технологиям машинного обучения и искусственного интеллекта быстро рос. Решение H2O.ai становится все более популярным в этой сфере: оно поддерживает быстрые алгоритмы машинного обучения в оперативной памяти и недавно получило поддержку глубокого обучения. Сегодня поговорим о разработке с использованием H2O. Быстрые, масштабируемые и надежные решения этих категорий все чаще рассматриваются как необходимые ...

Читать далее »

Обработка текстов на естественных языках

Сейчас в эту область вкладываются очень большие деньги и в ней решают немало разнообразных задач. Сегодня мы затрагиваем такую интересную тему, как естественные языки. Она привлекает внимание не только индустрии, но и научного сообщества. Может ли машина думать? Исследователи связывают анализ естественных языков с принципиальным вопросом: может ли машина мыслить? Известный философ Рене Декарт давал однозначно отрицательный ответ. Неудивительно, учитывая ...

Читать далее »