Apache

  • ХабрахабрФото Магия 2-х строк на Lua или как донести исходные заголовки HTTP Authorization header-авторизации до web-сервиcа

    Магия 2-х строк на Lua или как донести исходные заголовки HTTP Authorization header-авторизации до web-сервиcа

    Статья будет полезна тем: кому необходимо задействовать несколько видов авторизации в одном запросе к серверу; кто хочет открывать сервисы мира Kubernetes/Docker в общий интернет, не задумываясь о способах защиты конкретного сервиса; думает, что всё уже кем-то сделано, и хотел бы сделать мир немного удобнее и безопаснее. Предисловие Сервисы, которые становятся доступны через Kubernetes, имеют богатый набор способов авторизации. Один из…

    Читать далее »
  • СофтФото Apache Software Foundation опубликовала релиз платформы Apache Hadoop 3.3.0

    Apache Software Foundation опубликовала релиз платформы Apache Hadoop 3.3.0

    Apache Software Foundation выпустила свежий релиз своей платформы — Apache Hadoop 3.3.0. С момента последнего обновления прошло полтора года. Сама платформа представляет собой инструмент для организации распределенной обработки больших объемов данных с использованием MapReduce. Hadoop включает в себя набор утилит, библиотек и фреймворков для разработки и выполнения распределенных программ, которые способны работать на кластерах из тысяч узлов. Для Hadoop создана…

    Читать далее »
  • ХабрахабрФото [Перевод] Распределенное обучение с Apache MXNet и Horovod

    [Перевод] Распределенное обучение с Apache MXNet и Horovod

    Перевод статьи подготовлен в преддверии старта курса «Промышленный ML на больших данных» Распределенное обучение на нескольких высокопроизводительных вычислительных экземплярах может сократить время обучения современных глубоких нейронных сетей на большом объеме данных с нескольких недель до часов или даже минут, что делает эту технику обучения превалирующей в вопросах практического использования глубокого обучения. Пользователи должны понимать, как делиться и синхронизировать данные на…

    Читать далее »
  • ХабрахабрФото Spring Boot + Apache Kafka и SSL в Docker контейнере

    Spring Boot + Apache Kafka и SSL в Docker контейнере

    Друзья, привет. В статье я расскажу как собрать решение для быстрого старта вашей разработки из standalone Java приложения, брокера и Zookeeper’а Kafka, поднятых в отдельных Docker контейнерах и настроенной plaintext авторизацией для доступа как с локальной машины, так и из внешнего контура. Готовый проект на github можно забрать в конце статьи Выбор docker образа Apache Kafka + Zookeeper Для начала…

    Читать далее »
  • ХабрахабрФото [Из песочницы] Погружение в Delta Lake: принудительное применение и эволюция схемы

    [Из песочницы] Погружение в Delta Lake: принудительное применение и эволюция схемы

    Привет, Хабр! Представляю вашему вниманию перевод статьи «Diving Into Delta Lake: Schema Enforcement & Evolution» авторов Burak Yavuz, Brenner Heintz and Denny Lee. Данные, как и наш опыт, постоянно накапливаются и развиваются. Чтобы не отставать, наши ментальные модели мира должны адаптироваться к новым данным, некоторые из которых содержат новые измерения — новые способы наблюдать вещи, о которых раньше мы не…

    Читать далее »
  • ХабрахабрФото Сжатие данных в Apache Ignite. Опыт Сбера

    Сжатие данных в Apache Ignite. Опыт Сбера

    При работе с большими объемами данных иногда может остро встать проблема нехватки места на дисках. Одним из способов решения данной проблемы является сжатие, благодаря которому, на том же оборудовании, можно себе позволить увеличить объемы хранения. В данной статье мы рассмотрим, как работает сжатие данных в Apache Ignite. В статье будут описаны только реализованные внутри продукта способы сжатия на диске. Другие…

    Читать далее »
  • ХабрахабрФото Apache Bigtop и выбор Hadoop-дистрибутива сегодня

    Apache Bigtop и выбор Hadoop-дистрибутива сегодня

    Наверное, ни для кого не секрет, что прошлый год для Apache Hadoop стал годом больших перемен. В прошлом году произошло слияние Cloudera и Hortonworks (по сути, поглощение второго), а Mapr, в виду серьезных финансовых проблем, был продан Hewlett Packard. И если несколькими годами ранее, в случае on-premises инсталляций, выбор чаще приходилось делать между Cloudera и Hortonworks, то сегодня, увы, этого…

    Читать далее »
  • ХабрахабрФото Apache Kafka для чайников

    Apache Kafka для чайников

    Данная статья будет полезной тем, кто только начал знакомиться с микросервисной архитектурой и с сервисом Apache Kafka. Материал не претендует на подробный туториал, но поможет быстро начать работу с данной технологией. Я расскажу о том, как установить и настроить Kafka на Windows 10. Также мы создадим проект, используя Intellij IDEA и Spring Boot. Зачем? Трудности в понимании тех или иных…

    Читать далее »
  • ХабрахабрФото Ищем цепочку событий в потоке данных с помощью FlinkCEP

    Ищем цепочку событий в потоке данных с помощью FlinkCEP

    В данной статье речь пойдет об использовании открытой платформы Apache Flink для обнаружения цепочки последовательности событий. Статья подойдет как для начинающих разработчиков в области обработки потоковых данных, так и для тех, кто желает познакомиться с Apache Flink. Ни для кого не секрет, что на данный момент существуют различные подходы к обработке, хранению, фильтрации и анализу больших данных. В отдельный класс…

    Читать далее »
  • ХабрахабрФото Битва WEB серверов. Часть 2 – реалистичный сценарий HTTPS:

    Битва WEB серверов. Часть 2 – реалистичный сценарий HTTPS:

    Для тестирования был получен сертификат Let’s Encrypt, включено сжатие Brotli на 11. О методике мы рассказывали в первой части статьи, в этой мы тестируем HTTPS, но в более реалистичных сценариях. Для этого устанавливали лимит в: На этот раз попробуем воспроизвести сценарий развертывания сервера на VDS или в качестве виртуальной машины на хосте с типовым процессором. 25% — Что в пересчете…

    Читать далее »


Кнопка «Наверх»