Главная » Архив меток: анализ данных

Архив меток: анализ данных

Фероподы не помогут: исследование и математическое моделирование ям-ловушек личинок муравьиных львов

Раненый и обессиленный, он ищет путь домой, встречая на своем пути бездушных и безучастных прохожих, готовых с благоговением наблюдать за гибелью другого. Исследователь, завороженный величием и красотой мира за пределами своего города, волей судьбы оказывается в местах, где раньше никогда не был. Существо это маленькое, но с большим сердцем, предлагает ему свою помощь в ответ на спасение. Не готовый мириться ...

Читать далее »

Продуктовая аналитика ВКонтакте на базе ClickHouse

Понимать, делаем мы своими изменениями лучше или хуже, корректировать направление развития продукта, опираясь не на интуицию и собственные ощущения, а на метрики и цифры, в которые можно верить. Развивая любой продукт, будь то видеосервис или лента, истории или статьи, хочется уметь измерять условное «счастье» пользователя. Речь пойдёт о ClickHouse, используемых движках и особенностях запросов. В этой статье я расскажу, как ...

Читать далее »

[Из песочницы] 35% доходность акций на альтернативных данных

На днях попал в руки любопытный датасет от Московской Биржи по популярным акциям. Торговля на альтернативных (нестандартных) данных становится модным и перспективным. Подробности под катом После поверхностного исследования удалось получить привлекательный результат c хорошими доходностями. Содержание датасета Датасет содержит три значения pv30, pv70, pv100 на каждый день и показывает разницу покупок и продаж группы из топ 30, 70 и 100 ...

Читать далее »

Для чего нам в СИБУРе продвинутая аналитика

Когда у вас возникает какая-то проблема, вы начинаете искать способы ее решения, параллельно думая, как бы снова не пройтись по этим же самым граблям в следующий раз. Что бы вы ни делали, от небольших мобильных приложений до громоздких информационных систем, у ошибки всегда есть цена, и чем более критична отрасль, в которой используется ваш продукт, тем выше цена этой ошибки. ...

Читать далее »

Не для селфи: цифровой иммуноферментный анализ посредством нового чипа, встраиваемого в смартфон

Что родители, нагло обманывая нас в детстве, сравнивали с укусом комарика? Из какого кабинета в любой больнице периодически доносятся крики детей, а порой и взрослых? Сейчас эта процедура стала более быстрой и менее болезненной. Я думаю вы уже догадались, что речь идет об анализе крови. Диагностика в медицине играет самую важную роль на первых этапах борьбы с каким-либо заболеванием. Не ...

Читать далее »

[Из песочницы] Реверс-инжиниринг бинарного формата на примере файлов Korg .SNG

Вокруг нас изобилие техники: телефоны, компьютеры, умные часы и прочие гаджеты. Мы живем в удивительное время. Большинству их них предначертана короткая и яркая (или не очень) жизнь: мощная маркетинговая компания в момент выпуска, 1-2 года полноценной поддержки производителем, а затем медленное забвение. Каждый день производители выпускают на рынок все новые и новые устройства. С «умными» девайсами все сложнее. Простые устройства ...

Читать далее »

[Перевод] Руководство по использованию pandas для анализа больших наборов данных

При использовании библиотеки pandas для анализа маленьких наборов данных, размер которых не превышает 100 мегабайт, производительность редко становится проблемой. Но когда речь идёт об исследовании наборов данных, размеры которых могут достигать нескольких гигабайт, проблемы с производительностью могут приводить к значительному увеличению длительности анализа данных и даже могут становиться причиной невозможности проведения анализа из-за нехватки памяти. И, в сравнении с pandas, ...

Читать далее »

Обнаружение веб-атак с помощью Seq2Seq автоэнкодера

Первые известные примеры реализации IDS относятся к началу 1980-х годов. Обнаружение атак является важной задачей в информационной безопасности на протяжении десятилетий. На данный момент существуют различные виды продуктов, такие как IDS, IPS, WAF, брандмауэры, большинство из которых предлагает обнаружение атак на основе правил. Спустя несколько десятилетий сформировалась целая индустрия средств для обнаружения атак. Или всё-таки?.. Идея использовать техники выявления аномалий ...

Читать далее »

Роботизация может вести к диктатуре

Получается, тема живая не только в наших головах. Предыдущая статья на тему замены человека роботом получила большое количество комментариев. Поскольку мы сами вносим вклад в роботизацию как в контексте обучения в нашей Школе, так и в контексте проектов, которые мы делаем, то невольно нам приходится задумываться на предмет того, куда в пределе этот процесс может вести и как избежать сопутствующих ...

Читать далее »

Миграция данных в кровавом энтерпрайзе: что анализировать, чтобы не завалить проект

И не только собрать, а еще очистить от дублей и мусора. Типичный проект системной интеграции для нас выглядит так: у заказчика вагон систем для учета клиентов, задача — собрать клиентские карточки в единую базу. Чтобы на выходе получились чистые, структурированные, полные карточки клиентов. Для начинающих поясню, что миграция идет по такой схеме: источники → преобразование данных (отвечает ETL или шина) → приемник. Самое обидное, что этого можно было избежать.Работали ...

Читать далее »