Главная » Архив меток: Data Mining

Архив меток: Data Mining

Роботизация может вести к диктатуре

Получается, тема живая не только в наших головах. Предыдущая статья на тему замены человека роботом получила большое количество комментариев. Поскольку мы сами вносим вклад в роботизацию как в контексте обучения в нашей Школе, так и в контексте проектов, которые мы делаем, то невольно нам приходится задумываться на предмет того, куда в пределе этот процесс может вести и как избежать сопутствующих ...

Читать далее »

Как вы выбираете продукты в магазине?

Теодор Рузвельт Самая главная формула успеха — знание, как обращаться с людьми. Теперь давайте поговорим о более интересных вещах. В прошлой статье попытался рассказать про основы аналитики ценообразования. Скорее всего, четкого ответа под все возможные походы в магазин дать не получится, многие из них спонтанны. Вы когда-нибудь задумывались о том, почему вы покупаете определенные продукты в магазинах, как выбираете среди ...

Читать далее »

Как с помощью компьютерного зрения оценить состояние автомобиля. Опыт Яндекс.Такси

И для этого мы используем дистанционный контроль качества (ДКК). Мы стремимся к тому, чтобы после заказа такси к пользователю приезжал чистый, исправный автомобиль той марки, того цвета и с тем номером, которые отображаются в приложении. Сегодня я расскажу читателям Хабра о том, как с помощью машинного обучения снизить затраты на контроль качества в быстро растущем сервисе с сотнями тысяч машин ...

Читать далее »

Граали соревнования Telecom Data Cup. Самое жаркое впереди

Ru Group и МегаФон. В начале ноября стартовал чемпионат по машинному обучению и анализу данных под кодовым названием Telecom Data Cup, организаторами которого являются Mail. На ней стараемся проводить большинство своих контестов по анализу данных. Соревнование запущено на уже известной платформе ML Boot Camp. Предыдущие чемпионаты открыты в режиме песочницы, что позволяет вам в любое время дня и ночи тренироваться ...

Читать далее »

Миграция данных в кровавом энтерпрайзе: что анализировать, чтобы не завалить проект

И не только собрать, а еще очистить от дублей и мусора. Типичный проект системной интеграции для нас выглядит так: у заказчика вагон систем для учета клиентов, задача — собрать клиентские карточки в единую базу. Чтобы на выходе получились чистые, структурированные, полные карточки клиентов. Для начинающих поясню, что миграция идет по такой схеме: источники → преобразование данных (отвечает ETL или шина) → приемник. Самое обидное, что этого можно было избежать.Работали ...

Читать далее »

Чем поможет машинное обучение, когда каждая минута на счету. Прогнозируем ETA в Яндекс.Такси

Представьте, что вам надо вызвать такси. Вы открываете приложение, видите, что машина приедет минут через семь, нажимаете «Заказать» — и… автомобиль в 15 минутах от вас, если вообще найден. Согласитесь, неприятно? Под катом поговорим о том, как методы машинного обучения помогают Яндекс.Такси более качественно прогнозировать ETA (Estimated Time of Arrival — ожидаемое время прибытия). Для начала напомним, что пользователь видит ...

Читать далее »

[Перевод] Модели Sequence-to-Sequence Ч.1

Всем добрый день! Ну и как обычно интересные открытые уроки и подборки интересных материалов. И у нас снова открыт новый поток на доработанный курс «Data scientist»: ещё один отличный преподаватель, чуть доработанная исходя из обновлений программа. Сегодня мы начнём разбор seq2seq моделей от Tensor Flow. Поехали. И возникает интересный вопрос: возможно ли обучение сети на определенных данных для генерации осмысленного ...

Читать далее »

Data Science проект от исследования до внедрения на примере Говорящей шляпы

Конкурс сделан неплохо, звучащие по-разному имена определяются на разные факультеты, причем схожие английские и русские имена и фамилии распределяются схожим образом. Месяц назад Лента запустила конкурс, в рамках которого та самая Говорящая Шляпа из Гарри Поттера определяет предоставивших доступ к социальной сети участников на один из четырех факультетов. Не знаю, зависит ли распределение только от имен и фамилий, и учитывается ...

Читать далее »

Как программист новую машину подбирал

В предыдущих статьях (I, II, III) я подробно рассказывал о разработке сервиса для поиска выгодных б/у автомобилей в РФ. В крупных городах существует огромное количество официальных дилеров, по крайней мере для популярных брендов. Поездив продолжительное время на различных б/у машинах, я задумался о приобретении нового авто и решил этот вопрос подробно изучить. В поисках интересующих меня автомобилей мне не хотелось ...

Читать далее »

Конференция в Будапеште (29-31 октября) Data Crunch

На эту конференцию приглашают спикеров из Linkedin, Uber, Github и множества компаний "второго эшелона", где люди делятся своим опытом или же рассказывают об инструментах по работе с данными. В этом году я побывал на конференции Data Crunch в Будапеште посвященной аналитике данных и Data Engeneering. Ну и что мне так же интересно — это пообщаться с участниками конференции по понять, ...

Читать далее »