Главная » Архив меток: Визуализация данных

Архив меток: Визуализация данных

Где же у него кнопка?! Как простому человеку выгрузить данные из Kibana и Elasticsearch и не напрягать при этом разрабов

Elasticsearch, Kibana и Logstash (ELK) – отличный набор инструментов для сбора и визуализации большого количества данных. Logstash мапит данные, Elasticsearch хранит их, а Kibana отображает в виде графиков. Логи, журналы, события – всё это довольно легко собирается, мапится и отображается в едином инструментарии. При всей мощи этой связки, естественно, есть задачи, которые невозможно реализовать через встроенные возможности. Например, Kibana прекрасно ...

Читать далее »

Сортировки всех времён и народов

Несколько лет назад написал небольшой макрос, чтобы создавать алгоритмическую gif-анимацию для хабрастатей. То, о чём так долго говорили большевики и к чему я с разным темпом шёл несколько лет, наконец-то свершилось. Со временем мой скромный инструмент разросся до внушительных размеров, который не стыдно теперь явить миру. Итак, встречайте. А также есть возможность подготавливать gif-анимацию. AlgoLab — Excel-приложение (то есть файл ...

Читать далее »

Понедельник начинается в субботу, или что можно узнать о жизни в другой стране из логов sci-hub

Хотите знать, как религия влияет на рабочий день, у кого самый длинный обеденный перерыв, и правда ли что Москва никогда не спит? Но это же Хабр, а не жёлтая газета, так что историю вам поведает самый объективный рассказчик из всех — данные пользовательской активности. Вам когда-нибудь доводилось найти пиратский настоящий клад? Такой что с первого взгляда становится понятно, что вы ...

Читать далее »

[Из песочницы] О терниях и звездах на пути оптимизации процессов разработки

Мечты, мечты Холодными осенними вечерами мы с разработчиками приложений 3D визуализации собирались на кухне… пили кофе… и думали о ней… об эталонной организации разработки. — У меня знакомые по agile работают: спринты, стори поинты, все дела…— Да нам бы хотя бы ревью… Например, хранение проектов в git осуществлялось весьма необычно: Дело в том, что в те времена, у нас с ...

Читать далее »

Нахождение числа комиссий, «рисовавших» целые значения явки на президентских выборах РФ 2018 года

Графики с необычными пиками мы теперь видим после каждых федеральных выборов. Впервые в массы они вышли после выборов в 2011 году, когда люди и увидели фальсификации, и ознакомились в целом с анализом данных по выборам и с проблемой целочисленного деления в частности. Это и «борода Чурова» для выборов 2011, и «пик Володина» для знаменитых 62. У распределений даже стали появляться ...

Читать далее »

Data Fest 2018: анонс и регистрация

Data Fest — крупнейшая бесплатная конференция для исследователей, инженеров и разработчиков, связанных с анализом и обработкой данных, машинным обучением, а также тем, что пресса любит называть AI. Друзья, приглашаем вас на пятый московский Data Fest, который состоится 28 апреля на территории дизайн-завода FLACON. Ru Group и «умные» ответы в Почте Mail. Вы узнаете про AI в продуктах Mail. Ru, как ...

Читать далее »

Персонализируй это. Отчёт с Avito Data Science Meetup: Personalization

Публикуем отчёт с митапа Avito Data Science Meetup: Personalization, который проходил у нас в офисе. Всем привет! Под катом — видеозаписи, презентации, ссылка на фотоотчёт. Участники обсуждали моделирование пользовательских предпочтений в мультимодальных данных и кластеризацию волатильных объявлений с помощью EM-алгоритма. Эти взаимодействия мультимодальны, то есть составлены из различных типов данных, таких как пользовательские рейтинги, отзывы, фотографии или их социальные взаимодействия. ...

Читать далее »

[Из песочницы] Tooltip-ы в Power BI — новый функционал для Desktop

В середине марта вышло очередное обновление Power BI Desktop. Microsoft добавил пару интересных функций, в том числе возможность пользователям самим создавать всплывающие подсказки — Tooltips. В этой заметке я покажу простой пример работы с этим функционалом. Подключение функции всплывающих подсказок в Power BI Desktop Функция всплывающих подсказок находится на стадии предварительного просмотра и его нужно подключать/отключать вручную. Это значит, что ...

Читать далее »

Визуализация на карте распределения голосов по Москве на выборах президента 2018

Введение Выборы — крайне загадочный процесс, при просмотре значений результатов которого не совсем понятна общая картина. Я решил показать их на карте Москвы с делением по районам c помощью технологий InterSystems, которые обеспечивают и хранение, и анализ данных. В данном случае использовалась платформа для интеграции и разработки приложений InterSystems Ensemble, но с равным успехом можно развернуть описанное ниже решение и ...

Читать далее »

[Из песочницы] Ученье — свет, или как организовать мастер-класс за 2 дня

Обучение новых пользователей и разработчиков служит одним из основных инструментов популяризации своего продукта или технологии. Наша компания несколько месяцев назад начала приоткрывать «завесу» над своей технологией и привлекать новых разработчиков к платформе, на которой мы разрабатываем оригинальные приложения по 3D-аналитике. Естественно, что мы столкнулись с необходимостью обучения новичков. В данной статье я опишу опыт нашей компании по организации обучения новой ...

Читать далее »