bigdata

  • ХабрахабрФото Сколько зарабатывает Аналитик данных: обзор зарплат и вакансий в России и за рубежом в 2020

    Сколько зарабатывает Аналитик данных: обзор зарплат и вакансий в России и за рубежом в 2020

    Привет, Хабр! 28 сентября, Skillfactory запускает новый поток курса Data Analyst, поэтому мы решили сделать широкий обзор рынка вакансий, которые предлагают сегодня компании. Действительно ли профессия аналитика данных может приносить до «300к/наносек»? Какие умения требуют работодатели от аналитиков и что вообще нужно знать, чтобы стать востребованным и высокооплачиваемым спецом? Какие возможности для роста предлагает рынок сегодня? Мы проанализировали 450 вакансий…

    Читать далее »
  • ХабрахабрФото Google не узнает, что вы делали прошлым летом (ну почти)

    Google не узнает, что вы делали прошлым летом (ну почти)

    Google (или его родительский  холдинг Alphabet) на данный  владеет самым популярным одноименным поисковым сервисом, самым популярным видеохостингом YouTube, самым популярным сервисом электронной почты с Gmail, самой популярной мобильной операционной системой Android и целым рядом популярных облачных приложений для работы с документами Google Docs. По крайней мере восемь продуктов корпорации имеют более миллиарда пользователей. Бородатая шутка из середины нулевых о том,…

    Читать далее »
  • ХабрахабрФото [Из песочницы] Побег от скуки — процессы ETL

    [Из песочницы] Побег от скуки — процессы ETL

    В конце зимы и начале весны, появилась возможность поработать с новым для меня инструментом потоковой доставки данных Apache NiFi. При изучении инструмента, все время не покидало ощущение, что помимо официальной документации, нелишним были бы материалы "for dummies", с практическими примерами. После выполнении задачи, решил попробовать облегчить вхождение в мир NiFi. Предыстория, почти не связанная со статьей В феврале этого года…

    Читать далее »
  • ХабрахабрФото Долгосрочное хранение данных в Elasticsearch

    Долгосрочное хранение данных в Elasticsearch

    Меня зовут Игорь Сидоренко, я техлид в команде админов, поддерживающих в рабочем состоянии всю инфраструктуру Домклик. Хочу поделиться своим опытом в настройке распределённого хранения данных в Elasticsearch. Мы рассмотрим, какие настройки на нодах отвечают за распределение шардов, как устроен и работает ILM. Те, кто работают с логами, так или иначе сталкиваются с проблемой долгосрочного хранение для последующего анализа. В Elasticsearch…

    Читать далее »
  • ХабрахабрФото Почему стриминг на KSQL и Kafka Streams — это непросто

    Почему стриминг на KSQL и Kafka Streams — это непросто

    Привет, Хабр! Меня зовут Саша, я лид-разработчик в GlowByte Consulting. Мы с командой сделали неплохой стриминговый движок для одного крупного банка. Сейчас в продакшене крутится онлайн обработка банковских авторизаций, визитов клиентов в офис и еще ряд более мелких процессов, при этом все работает на KSQL и Kafka Streams. Хочу поделиться тем, на какие грабли мы наступили в процессе. Если интересны…

    Читать далее »
  • ХабрахабрФото Как не пополнить ряды стремных специалистов, если ты Data Scientist

    Как не пополнить ряды стремных специалистов, если ты Data Scientist

    Хабра-сообщество провело еще одно интервью в нашем образовательном проекте: прямых эфирах c ребятами из IT, которые отвечают на ваши вопросы в формате живого общения. Наш проект — попытка создать полноценный набор гайдов и рекомендаций для успешной жизни разработчика: как построить карьеру, получить оффер мечты, привлечь инвестиции в стартап, не тухнуть на скучных проектах, вырасти в своем деле и по пути…

    Читать далее »
  • ХабрахабрФото Интеграция Aviasales API с Amazon Kinesis и простота serverless

    Интеграция Aviasales API с Amazon Kinesis и простота serverless

    Привет, Хабр! А вы любите летать на самолетах? Я обожаю, но на самоизоляции полюбил еще и анализировать данные об авиабилетах одного известного ресурса — Aviasales. Сегодня мы разберем работу Amazon Kinesis, построим стримминговую систему с реал-тайм аналитикой, поставим NoSQL базу данных Amazon DynamoDB в качестве основного хранилища данных и настроим оповещение через SMS по интересным билетам. Все подробности под катом!…

    Читать далее »
  • ХабрахабрФото Платформы управления данными: от периферии до облака

    Платформы управления данными: от периферии до облака

    Сегодня для большинства компаний и организаций данные – это один из стратегических активов. И с расширением возможностей аналитики, ценность собираемых и накапливаемых компаниями данных постоянно увеличивается. При этом часто говорят о взрывном, экспоненциальном росте объемов генерируемых корпоративных данных. Отмечается, что 90% всех данных были созданы за последние два года.  Рост объемов данных сопровождается увеличением их ценности Данные создают и используют…

    Читать далее »
  • ХабрахабрФото Скрытая угроза — анализ уязвимостей при помощи графа новостей

    Скрытая угроза — анализ уязвимостей при помощи графа новостей

    Когда вы сталкиваетесь с новой уязвимостью, какая мысль приходит первой? Конечно, отреагировать как можно быстрее. Однако, скорость — всего лишь одно из условий эффективной борьбы с ИБ-угрозами. Когда речь идет о корпоративной безопасности, не менее важно безошибочно определять, на что стоит реагировать в первую очередь. Недооцененная угроза может стать причиной серьезных убытков или потери деловой репутации. Но если число уязвимостей…

    Читать далее »
  • ХабрахабрФото Ищем цепочку событий в потоке данных с помощью FlinkCEP

    Ищем цепочку событий в потоке данных с помощью FlinkCEP

    В данной статье речь пойдет об использовании открытой платформы Apache Flink для обнаружения цепочки последовательности событий. Статья подойдет как для начинающих разработчиков в области обработки потоковых данных, так и для тех, кто желает познакомиться с Apache Flink. Ни для кого не секрет, что на данный момент существуют различные подходы к обработке, хранению, фильтрации и анализу больших данных. В отдельный класс…

    Читать далее »


Кнопка «Наверх»