Главная » Архив меток: R

Архив меток: R

[Из песочницы] Модели Эло и ЭлоБета в снукере

В нем есть всё: гипнотизирующая красота интеллектуальной игры, элегантность ударов киём и психологическая напряжённость соревнования. На протяжении многих лет я слежу за снукером, как за спортом. Но есть одна вещь, которая мне не нравится — его рейтинговая система. Такого недостатка лишена модель Эло, которая следит за "силой" игроков и обновляет её в зависимости от результатов матчей и "силы" соперника. Её ...

Читать далее »

[Из песочницы] Наивный Байес, или о том, как математика позволяет фильтровать спам

Привет! В этой статье я расскажу про байесовский классификатор, как один из вариантов фильтрации спам-писем. Пройдемся по теории, затем закрепим практикой, ну и в конце предоставлю свой набросок кода на мною обожаемом языке R. Буду стараться излагать максимально легкими выражениями и формулировками. Приступим! Без формул никуда, ну и краткая теория Байесовский классификатор относится к разряду машинного обучения. Суть такова: система, ...

Читать далее »

Зимой и летом одним цветом? Поиск сезонности в данных

Всплески интереса к цветам, новогодним подаркам и шинам — вполне ожидаемы. Однажды мы решили посмотреть, какие сезонные интересы есть у пользователей 2ГИС в разных городах. Мы решили ими не ограничиваться и пойти дальше, проверив все сферы деятельности во всех 113 городах присутствия. В этой статье я расскажу, как мы искали сезонности и какие особенности поведения пользователей в них обнаружили. Зачем ...

Читать далее »

Конструктивные элементы надежного enterprise R приложения

Естественно, что методы удобные для консольного пошагового применения человеком, который глубоко в теме, оказываются малопригодными для создания приложения для конечного пользователя. Тем, кто работает с R, хорошо известно, что изначально язык разрабатывался как инструмент для интерактивной работы. (говорим R, подразумеваем, в основном, Shiny web приложения).Однако, не все так плохо. Возможность получить развернутую диагностику сразу по факту ошибки, проглядеть все переменные ...

Читать далее »

[Из песочницы] Исследование рынка вакансий BA/SA

Рисерчер парсил десятки описаний вакансий с hh вручную, раскидывая их по запрашиваемым скиллам и увеличивая счетчик в соответствующей колонке спредшита. "Исследование рынка вакансий аналитиков" — так звучала вполне реальная задача одного вполне реального ведущего аналитика одной ни большой, ни маленькой фирмы. Я увидела в этой задаче неплохое поле для автоматизации и решила попытаться справиться с ней меньшей кровью, легко и ...

Читать далее »

[Перевод] Просто добавь воды: разработка с H2O.ai

Привет, Хабр! В течение последних нескольких лет интерес к технологиям машинного обучения и искусственного интеллекта быстро рос. Решение H2O.ai становится все более популярным в этой сфере: оно поддерживает быстрые алгоритмы машинного обучения в оперативной памяти и недавно получило поддержку глубокого обучения. Сегодня поговорим о разработке с использованием H2O. Быстрые, масштабируемые и надежные решения этих категорий все чаще рассматриваются как необходимые ...

Читать далее »

Глубокое обучение с использованием R и mxnet. Часть 1. Основы работы

# df <- read_excel("caco2.xlsx") # dump("df", stdout()) df <- structure(list(name = c("acebutolol", "acebutolol_ester", "acetylsalic_acid", "acyclovir", "alprenolol", "alprenolol ester", "aminopyrin", "artemisinin", "artesunate", "atenolol", "betazolol ester", "betazolol_", "bremazocine", "caffeine", "chloramphenicol", "chlorothiazide", "chlorpromazine", "cimetidine", "clonidine", "corticosterone", "desiprarnine", "dexamethas", "dexamethas_beta_D_glucoside", "dexamethas_beta_D_glucuronide", "diazepam", "dopamine", "doxorubici", "erythromycin", "estradiol", "felodipine", "ganciclovir", "griseofulvin", "hydrochlorothiazide", "hydrocortisone", "ibuprophen", "imipramine", "indomethacin", "labetalol", "mannitol", "meloxicam", "methanol", "methotrexate", "methylscopolamine", "metoprolol", "nadolol", "naproxen", "nevirapine", ...

Читать далее »

Ассоциативные правила, или пиво с подгузниками

Введение в теорию Обучение на ассоциативных правилах (далее Associations rules learning — ARL) представляет из себя, с одной стороны, простой, с другой — довольно часто применимый в реальной жизни метод поиска взаимосвязей (ассоциаций) в датасетах, или, если точнее, айтемсетах (itemsests). Впервые подробно об этом заговорил Piatesky-Shapiro G [1] в работе “Discovery, Analysis, and Presentation of Strong Rules.” (1991) Более подробно ...

Читать далее »

Статистика Backblaze, научный подход к анализу надёжности накопителей

Фирма Backblaze регулярно публикует статистику по отказам своих жёстких дисков, и даже выложила в свободный доступ полный архов со статистикой S.M.A.R.T параметров всех своих накопителей. В этой статье я покажу как с помощью при помощи лома и какой-то матери с помощью научных методов рассчитывать надёжность накопителей. Анализ выживаемости В статистике, анализом выживаемости или надёжности занимается раздел под названием “survival analysis”. ...

Читать далее »

R как спасательный круг для системного администратора

Мотивом для этой публикации послужил доклад «Using the R Software for Log File Analysis» на конференции USENIX, который был обнаружен в интернете при поиске ответов на очередные вопросы. Поскольку была написана целая печатная статья, логично предположить, что тема обладает актуальность. Поэтому решил поделиться примерами решения подобного рода задач, решению которых не придавалось такого значения. Фактически, «заметки на полях».R, действительно, очень ...

Читать далее »