Big Data
-
Хабрахабр
KotlinDL 0.2: Functional API, зоопарк моделей c ResNet и MobileNet, DSL для обработки изображений
Представляем вам версию 0. 2 библиотеки глубокого обучения KotlinDL. KotlinDL 0. 2 теперь доступен на Maven Central (до этого он лежал на bintray, но закатилось солнышко земли опенсорсной). Появилось столько всего нового: новые слои, специальный DSL для препроцессинга изображений, новые типы датасетов, зоопарк моделей с несколькими моделями из семейства ResNet, MobileNet и старой доброй моделью VGG (рабочая лошадка, впрочем). В…
Читать далее » -
Хабрахабр
Книга «Байесовская статистика: Star Wars, LEGO, резиновые уточки и многое другое»
Привет, Хаброжители! Нужно решить конкретную задачу, а перед вами куча непонятных данных, в которой черт ногу сломит? «Байесовская статистика» расскажет, как принимать правильные решения, задействуя свою интуицию и простую математику. Пора забыть про заумные и занудные университетские лекции! Эта книга даст вам полное понимание байесовской статистики буквально «на пальцах» — с помощью простых объяснений и ярких примеров. Чтобы узнать, как…
Читать далее » -
Хабрахабр
Раскрашиваем таможенную статистику. Или сколько и каких микросхем ввозят в Россию? (2)
Продолжим анализировать какие иностранные микросхемы используются в России на основании таможенной статистики. Как мы это делаем ? Из данных ФТС выбираем записи в которых указан номинал ввезенной микросхемы, и используя внутреннюю базу данных дополняем эту запись основными параметрами микросхемы, начиная от производителя, разрядностями, диапазонами питания и заканчивая типом корпуса, упаковки и так далее. В данной части посмотрим АЦП/ЦАП и микроконтроллеры.…
Читать далее » -
Хабрахабр
Cassandra в Yelp
Yelp — это крупнейшее в США приложение для заказа еды и услуг. Оно установлено более чем на 30 млн. уникальных устройств, в нём зарегистрировано более 5 млн. компаний. Для хранения и доступа к данным в Yelp используют Cassandra. Как и для каких задач применяется эта база данных, на конференции Cassandra Day Russia 2021 рассказал Александр Широков, Database Reliability Engineer в…
Читать далее » -
Хабрахабр
Раскрашиваем таможенную статистику. Или сколько и каких микросхем ввозят в Россию?
Когда в 2008 году мы разрабатывали микроконтроллеры серии К1986ВЕ9х стояло множество вопросов. Сколько должно быть Flash? сколько ОЗУ? сколько ног? какие интерфейсы? и так далее. И хотя в тот момент просто сделать рабочую микросхему уже было бы уже успехом, мы смогли сделать ее так, что данная серия до сих пор востребована и объемы ее продаж растут. Отчасти именно по тому,…
Читать далее » -
Хабрахабр
Первые шаги в BI-аналитике. Роль Data Engineering
Добрый день, уважаемые читатели! Материал носит теоретический характер и адресован исключительно начинающим аналитикам, которые впервые столкнулись с BI-аналитикой. Что традиционно понимается под этим понятием? Если говорить простым языком, то это комплексная система (как и, например, бюджетирование) по сбору, обработке и анализу данных, представляющая конечные результаты в виде графиков, диаграмм, таблиц. Это требует слаженной работы сразу нескольких специалистов. Дата-инженер отвечает за…
Читать далее » -
Хабрахабр
Все магистерские программы в партнёрстве с Яндексом: чему можно научиться и как поступить
Это снова я, Стас Федотов, руководитель Школы анализа данных в Москве. У Яндекса много проектов в сфере образования: мы запускаем программы для школьников и студентов, организовываем профессиональные конференции, курсы для желающих повысить квалификацию или сменить профессию. Сегодня поговорим об одном из направлений — магистерских программах, которые Яндекс делает совместно с университетами в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде и Минске. Я…
Читать далее » -
Хабрахабр
![Фото [recovery mode] Вы нервно стоите на красный, хотя машин нет. Как сделать светофор умнее, а проезжать и загруженные перекрестки быстрее?](http://orion-int.ru/wp-content/uploads/2021/04/recovery-mode-vy-nervno-stoite-na-krasnyj-xotya-mashin-net-kak-sdelat-svetofor-umnee-a-proezzhat-i-zagruzhennye-perekrestki-bystree.jpg)
[recovery mode] Вы нервно стоите на красный, хотя машин нет. Как сделать светофор умнее, а проезжать и загруженные перекрестки быстрее?
От старого Умного перекрестка, который россиянам начали ставить недавно, до самообучающегося. Здесь есть статья про то, какие типы Умных светофоров бывают, но она описывает устройства прошлого века, поэтому, возможно, будет интересно узнать о технологиях сегодняшних. Итак, типы Умных светофоров, которые уже можно увидеть на перекрестках городов: Адаптивный работает на сравнительно простых перекрестках, где правила и возможности переключения фаз совершенно очевидны. Адаптивное управление применимо лишь…
Читать далее » -
Хабрахабр
Как New York Times подбирает самые кликбейтные заголовки
Лавры Buzzfeed, специалистов по треш-заголовкам, не дают покоя и более крутым спокойным медиа. Один из техноблогеров заметил, что одно из самых авторитетных в США изданий New York Times экспериментирует с заголовками статей. Он вытащил все виды заголовков и данные по их тестированию через открытые API этого СМИ и пришёл к интересным выводам. А я постарался собрать их в короткий дайджест.Автор…
Читать далее » -
Хабрахабр
Обогащение данных — что это и почему без него никак
Задача обогащения данных напрямую связана с темой их обработки и анализа. Обогащение нужно для того, чтобы конечные потребители данных получали качественную и полную информацию. Сам термин "обогащение данных" — это перевод англоязычного Data enrichment, который проводит аналогию между данными и... ураном. Точно так же, как промышленники насыщают урановую руду, увеличивая долю изотопа 235U, чтобы её можно было использовать (хочется надеяться,…
Читать далее »