Главная » Архив меток: Big Data

Архив меток: Big Data

[Из песочницы] Анализ блокчейн, или почему сломался миксер?

По материалам моего доклада на конференции «Цифровая трансформация» в Москве 16 апреля 2018 г Не только какие там алгоритмы, криптография, платформы и криптовалюты. Мне интересно, как работает блокчейн. Если вы в этом сомневаетесь, посмотрите на этот граф распродажи токенов Aragon: Для меня блокчейн — не только технология, но и новый вид жизни, новая вселенная. Без этого взаимодействия блокчейн и криптовалюты ...

Читать далее »

[Из песочницы] Соревнование Kaggle Home Credit Default Risk — анализ данных и простые предсказательные модели

На датафесте 2 в Минске Владимир Игловиков, инженер по машинному зрению в Lyft, совершенно замечательно объяснил, что лучший способ научиться Data Science — это участвовать в соревнованиях, запускать чужие решения, комбинировать их, добиваться результата и показывать свою работу. Собственно в рамках этой парадигмы я и решил посмотреть внимательнее на соревнование по оценке кредитного риска от Home Credit и объяснить (начинающим ...

Читать далее »

[Из песочницы] Нейронный машинный перевод Google

Отчет написан в декабре 2017. It's who has the most data. It's not who has the best algorithm that wins. Эндрю Нг, преподаватель курса по машинному обучению на Coursera. Побеждает не тот, у кого лучше алгоритм, а тот, у кого больше данных. …These models can typically take a lot more context. If you scale up both the size of the ...

Читать далее »

Великобритания потратила £6 млн на data scientist’ов

В мае 2018 года коллектив британских ученых провел тематическое исследование и выяснил, что траты на data scientist’ов (или экспертов по аналитическим данным) в Великобритании значительно увеличились. Мы решили разобраться в ситуации и дать краткий обзор. / фото Nic McPhee CC BY-SA В чем дело Цель исследования — определить роль, которую играют «учёные по данным» в государственном секторе, и выделить сферы ...

Читать далее »

Как мы просканировали весь интернет и что мы узнали

Сколько сайтов вы используете ежедневно? Пару социальных сетей, поисковик, несколько любимых издательств, около 5 рабочих сервисов. Пожалуй, вряд ли наберется более 20 сайтов. Но мне всегда было интересно, можно ли пробежаться по всем доменам интернета, не строя аналитику на очень малой выборке. А задумывались ли вы сколько сайтов в интернете и что с ними происходит?Периодически попадаются статьи с исследованиями, построенными ...

Читать далее »

Как создать свой датасет с Киркоровым и Фейсом на Яндекс Толоке

Практически каждый человек знает, что такое машинное обучение, линейная регрессия, random forest. Нейронными сетями уже никого не удивишь. Любой школьник за пару недель теперь может освоить keras и клепать нейроночки. Каждый год тысячи людей проходят курсы по машинному обучению на ODS и Coursera. Но в нейронных сетях, как и во всем машинном обучении, помимо создания хорошего алгоритма, необходимы данные, на ...

Читать далее »

Splunk + Excel. Что получится?

В предыдущих статьях мы много рассказывали о Splunk. Это продукт, который позволяет собирать и анализировать данные с любых IT-систем в режиме реального времени, например, это могут быть результаты работы web-сервера, почтового сервера, Windows, различных приложений и тд. Значит ли это, что если всем сотрудникам, заинтересованным в аналитике, полученной в Splunk, необходимо разбираться в работе программы, вносить изменения в свои бизнес-процессы ...

Читать далее »

Oh, My Code: Машинное обучение и аналитика в «Одноклассниках»

В чём разница между Machine Learning и анализом данных, кто сидит в «Одноклассниках» и как начать свой путь в машинном обучении — об этом мы беседуем в двенадцатом выпуске ток-шоу для программистов. Видео на канале Технострим Ведущий программы — технический директор медиапроектов Павел Щербинин, гость — инженер-аналитик «Одноклассников» Дмитрий Бугайченко.00:56 Дмитрий Бугайченко: из аутсорса в ОК и научную деятельность02:42 Зачем ...

Читать далее »

[Перевод] Как машины анализируют большие данные: введение в алгоритмы кластеризации

Перевод How Machines Make Sense of Big Data: an Introduction to Clustering Algorithms. Это коллекция насекомых (улитки не насекомые, но не будем придираться) разных форм и размеров. Взгляните на картинку ниже. Никакого подвоха. А теперь разделите их на несколько групп по степени похожести. Начните с группирования пауков. Хотя здесь нет какого-то «правильного» решения, наверняка вы разделили этих существ на четыре ...

Читать далее »

50 анонсов Build 2018. Часть 2. Azure & Bots

Всем привет! В этой статье мы продолжаем наш рассказ про ключевые анонсы конференции Build. Прошлый выпуск мы посвятили железячным анонсам (от облака до девкитов для разработчиков) и инструментам разработки. Сегодня мы расскажем про облако и ботов. В этом выпуске: Обзор архитектуры Azure от Марка Руссиновича Ключевые анонсы про Microsoft Azure Обновления в инструментах для диалоговых интерфейсов Alexa и Кортана: дружба-жвачка ...

Читать далее »