Zookeeper

Хабрахабр
Марк Левин01.09.2022
0 0

[Перевод] Почему KRaft заменил ZooKeeper

Зачем менять ZooKeeper на встроенный лог Apache Kafka® для управления метаданными? В этой статье вы узнаете, зачем нужна была эта замена, какие преимущества даёт протокол консенсуса на основе кворума, вроде Raft, и как работает контроллер кворума поверх протоколов KRaft. Что не так с ZooKeeper? Контроллер Kafka для репликации внутри кластера был реализован ещё в 2012 году и с тех пор почти…
Читать далее »
Хабрахабр
Andy20.05.2022
0 2

Gatling. Тестирование Kafka

Привет! Меня зовут Александра, я работаю в отделе тестирования производительности Тинькофф. Мы продолжаем наш цикл статей, посвященных работе Gatling с различными протоколами. Ранее мы уже рассмотрели работу с HTTP, JDBC и gRPC. В этой статье поговорим о работе Gatling с Kafka. Если вы еще не прочли нашу вводную статью, рекомендую это сделать: в ней мы поделились базовой информацией о работе…
Читать далее »
Хабрахабр
Григорий Воронцов04.12.2021
0 0

Ничто. Проектирование ничего, реализация, и успешный ввод в эксплуатацию в инфраструктуре Facebook

Автор выражает благодарность людям, которые помогли в написании статьи: И в особенности Махешу Балакришнану, к числу почитателей которого я присоединился: Какая программа может решить проблему остановки в общем виде? Что поможет сделать успешный стартап по созданию убийцы гугла с бюджетом $100k? Что позволит реализовать масштабируемую систему на микросервисах быстрее и дешевле, чем монолит? Какая БД позволяет обеспечить сразу три гарантии…
Читать далее »
Хабрахабр
Стас Молотов04.12.2021
0 0

Ничто. Проектирование ничего, реализация, и успешный ввод в эксплуатацию в инфраструктуре Facebook

Автор выражает благодарность людям, которые помогли в написании статьи: И в особенности Махешу Балакришнану, к числу почитателей которого я присоединился: Какая программа может решить проблему остановки в общем виде? Что поможет сделать успешный стартап по созданию убийцы гугла с бюджетом $100k? Что позволит реализовать масштабируемую систему на микросервисах быстрее и дешевле, чем монолит? Какая БД позволяет обеспечить сразу три гарантии…
Читать далее »
Хабрахабр
Григорий Воронцов05.07.2021
0 1

Незаслуженно забытый ZooKeeper

Несмотря на наличие работающего решения немалой части распределенных проблем о нем мало пишут и создается впечатление, что это что-то устаревшее и не заслуживающее внимания. Это не так. Начинать новый проект с Зукипером или встраивать его в существующий проект в 2021 году можно и нужно. Зукипер просто работает Он на самом деле умеет работать с несколькими датацентрами, вам не надо думать…
Читать далее »
Хабрахабр
Григорий Воронцов02.06.2021
0 2

Практические истории из наших SRE-будней. Часть 4

Это уже четвёртая в общей сложности, но первая в 2021-м году подборка занятных случаев из нашей практики эксплуатации разнообразной инфраструктуры. Она затронет такие технологии, как ClickHouse вместе с ZooKeeper (в их контексте также напомню про недавно описанную нами аварию), MySQL (да, снова будем обновлять эту СУБД), DNS в Kubernetes (любимая многими тема, но здесь всё дело в сторонней утилите…). Поехали!…
Читать далее »
Хабрахабр
Andy22.05.2021
0 0

Kafka, Lamoda и непреодолимое желание учиться

Никита Галушко, разработчик подразделения Online Shop Lamoda, в онлайн-гостях у учебного центра Слёрм поделился своими впечатлениями от курса по Kafka, рассказал, как используют эту технологию и какие проблемы решают в отделе R&D (Research and Development). «Как быстро мы упремся в сетевой канал, который использует Kafka — через года два или раньше?» Lamoda — один из крупнейших интернет-магазинов в России и…
Читать далее »
Хабрахабр
Григорий Воронцов16.04.2021
0 4

[Перевод] Apache Kafka — скоро без ZooKeeper

В основе Apache Kafka находится лог — простая структура данных, которая использует последовательные операции, работающие в симбиозе с оборудованием. Эффективное использование дискового буфера и кэша процессора, prefetch, передача данных zero-copy и много других радостей — все это благодаря построенной на логе структуре, которая славится своей эффективностью и пропускной способностью. Обычно эти преимущества, а еще базовая реализация в виде лога коммитов,…
Читать далее »
Хабрахабр
Марк Левин30.12.2020
0 0

Аварии как опыт #1. Как сломать два кластера ClickHouse, не уточнив один нюанс

Про некоторые свои failure stories мы уже писали и раньше, но теперь мне выпала честь формально открыть специальный цикл из таких статей. Ведь аварии, их причины и последствия — это тоже часть нашей жизни, и исследовать эту «тёмную сторону» не менее интересно, чем всё остальное. Тем более, что они всё больше влияют даже на повседневный быт, так что из любой…
Читать далее »
Хабрахабр
Andy05.02.2020
0 2

«Hadoop. ZooKeeper» из серии Технострима Mail.Ru Group «Методы распределенной обработки больших объемов данных в Hadoop»

Предлагаю ознакомиться с расшифровкой лекции "Hadoop. ZooKeeper" из серии "Методы распределенной обработки больших объемов данных в Hadoop" Что такое ZooKeeper, его место в экосистеме Hadoop. Неправда о распределённых вычислениях. Схема стандартной распределённой системы. Сложность координации распределённых систем. Типичные проблемы координации. Принципы, заложенные в дизайн ZooKeeper. Модель данных ZooKeeper. Флаги znode. Сессии. Клиентский API. Примитивы (configuration, group membership, simple locks, leader…
Читать далее »