apache kafka

  • ХабрахабрФото Data больше не Big: как данные перестали быть большими и почему это полезно для бизнеса
    Andy07.09.2023
    0 0

    Data больше не Big: как данные перестали быть большими и почему это полезно для бизнеса

    Большие данные мертвы. В той их части, которая характеризуется как “большие”. Так считает Джордан Тигани, инженер-основатель Google BigQuery, человек, который больше 10 лет рассказывал всем о пользе big data. Что он имеет в виду и что это значит для бизнеса? Давайте разбираться. Вспомним, что говорили про большие данные Пятнадцать лет назад эксперты предполагали, что количество данных будет расти очень быстро.…

    Читать далее »
  • ХабрахабрФото [Перевод] Почему fsync(): Потеря несинхронизированных данных на одном узле приводит к глобальной потере данных
    Лида Шиндлер06.07.2023
    0 0

    [Перевод] Почему fsync(): Потеря несинхронизированных данных на одном узле приводит к глобальной потере данных

    Независимо от механизма репликации, необходимо использовать fsync() для предотвращения глобальной потери данных в non-Byzantine протоколах. Статья переведена и адаптирована командой Southbridge. С самого начала разработки Redpanda целью было создание более быстрой и безопасной платформы потоковых данных, способной безотказно поддерживать приложения, критически важные для бизнеса. Эта цель повлияла на многие из выборов в проектировании: Выбор протокола репликации Raft вместо ISR протокола…

    Читать далее »
  • ХабрахабрФото Kafka за 20 минут. Ментальная модель и как с ней работать
    Ксюша Родионова01.06.2023
    0 3

    Kafka за 20 минут. Ментальная модель и как с ней работать

    Привет! Меня зовут Глеб Гончаров, и я руковожу подгруппой ИТ-инфраструктуры в СберМаркете. В работе мы широко используем Kafka как шину данных для микросервисов и не раз убедились на практике, что к инструменту важно подобрать правильный подход. Об этом сегодня и поговорим в двух частях — сначала обсудим основы, а в конце статьи будет ссылка на практические задания. В теоретической части…

    Читать далее »
  • ХабрахабрФото [Перевод] Шаг за шагом: развёртываем Kafka Connect с помощью оператора Strimzi в Kubernetes
    Лида Шиндлер02.05.2023
    0 2

    [Перевод] Шаг за шагом: развёртываем Kafka Connect с помощью оператора Strimzi в Kubernetes

    Strimzi — это практически самый широкий оператор Kubernetes Kafka, который можно использовать для развертывания Apache Kafka, либо других его компонентов, таких как Kafka Connect, Kafka Mirror и т.д. В статье мы пошагово разберем развертывание Kafka Connect в Kubernetes. А еще затронем проблемы, с которыми можно столкнуться во время процедуры развертывания и приведем способы их решения. Примечание: Учтите, что Strimzi основан…

    Читать далее »
  • ХабрахабрФото Как построить надёжную шину данных на Apache Kafka
    Лида Шиндлер13.04.2023
    0 1

    Как построить надёжную шину данных на Apache Kafka

    Всем привет! Я Павел Агалецкий, ведущий инженер в Авито. Мы в компании используем микросервисную архитектуру с синхронным и асинхронным обменом событиями. В какой-то момент нам стало нужно обеспечивать более надёжную передачу сообщений. Стандартной Apache Kafka нам для этого было мало. Так мы пришли к идее, что пора строить собственную шину данных.  Зачем нужна шина данных Микросервисы можно подключить к Apache Kafka…

    Читать далее »
  • ХабрахабрФото Знакомимся с архитектурой Apache Kafka
    Лида Шиндлер29.03.2023
    0 0

    Знакомимся с архитектурой Apache Kafka

    На собеседовании: - Вы работали с Кафкой?- Нет, только читали. За несколько десятилетий развития ИТ систем разработчики накопили огромный опыт хранения и обработки данных. Различные СУБД позволяют с помощью запросов извлекать нужные данные за определенный период и обрабатывать их так как необходимо. Однако, со временем увеличились вычислительные мощности серверов, пропускная способность каналов связи, и соответственно, возникла необходимость обрабатывать бОльшие объемы…

    Читать далее »
  • ХабрахабрФото [Перевод] В стране потоков — Кафка, часть 2: Поднимаем consumer’ы
    Andy23.02.2023
    0 0

    [Перевод] В стране потоков — Кафка, часть 2: Поднимаем consumer’ы

    Потоковый гроссбух Кафки В предыдущей статье мы обсуждали, как именно работает сторона producer при отправке сообщений, и с учетом данных, хранящихся внутри темы, давайте теперь углубимся в сторону consumer. Цель этой части — охватить следующее: Как работает сторона consumer; Как работает масштабирование групп потребителей; Как работает масштабирование с помощью параллельного consumer’а; Настройка, позволяющая избежать медленных consumer’ов. Вы можете найти соответствующие…

    Читать далее »
  • ХабрахабрФото Типизация для Kafka-топиков в Юле
    Григорий Воронцов18.11.2022
    0 1

    Типизация для Kafka-топиков в Юле

    Привет, Хабр!Меня зовут Никита Герасимов. Я разработчик в Юле, проект VK. Моя команда развивает личный кабинет, а также занимается исследовательскими задачами. В этой статье я поделюсь сценариями использования Confluent Schema Registry вместе с JSON и Protobuf, которые мы применяли для типизации сообщений, передающихся в Kafka. Мы в Юле используем Go и PHP, поэтому наше решение проверено прежде всего для этих…

    Читать далее »
  • ХабрахабрФото [Перевод] Очередь недоставленных сообщений для обработки ошибок в Apache Kafka
    Стас Молотов05.10.2022
    0 1

    [Перевод] Очередь недоставленных сообщений для обработки ошибок в Apache Kafka

    Любому надёжному конвейеру потоковой обработки данных нужны механизмы обнаружения и обработки ошибок. В этой статье вы узнаете, как реализовать обработку ошибок с помощью очереди недоставленных сообщений (Dead Letter Queue) в инфраструктуре Apache Kafka. Мы рассмотрим несколько вариантов: кастомная реализация, Kafka Streams, Kafka Connect, Spring Framework и Parallel Consumer. Вы увидите, как Uber, CrowdStrike и Santander Bank реализуют надёжные механизмы обработки…

    Читать далее »
  • ХабрахабрФото [Перевод] Обзор UI-инструментов для мониторинга и управления кластерами Apache Kafka
    Марк Левин15.09.2022
    0 2

    [Перевод] Обзор UI-инструментов для мониторинга и управления кластерами Apache Kafka

    Прим. перев.: автор этого материала — Герман Осин, старший архитектор решений в Provectus. Осин сравнивает функциональность восьми UI-инструментов, которые помогают решить проблемы наблюдаемости и мониторинга Apache Kafka. Стоит отметить, что обзор скорее вводный. Он будет полезен для первоначального знакомства с возможностями решений. Какие инструменты лучше всего подходят для наблюдения за потоками данных, отслеживания ключевых метрик и устранения неполадок в Apache…

    Читать далее »


Загрузить
Кнопка «Наверх»