clickhouse

  • Хабрахабр

    FAQ по архитектуре и работе ВКонтакте

    История создания ВКонтакте есть в Википедии, её рассказывал сам Павел. Кажется, что ее знают уже все. Про внутренности, архитектуру и устройство сайта на HighLoad++ Павел рассказывал еще в 2010 году. Много серверов утекло с тех пор, поэтому мы обновим информацию: препарируем, вытащим внутренности, взвесим — посмотрим на устройство ВК с технической точки зрения. Расшифровка этого доклада — собирательный ответ на…

    Подробнее »
  • Хабрахабр

    Продуктовая аналитика ВКонтакте на базе ClickHouse

    Понимать, делаем мы своими изменениями лучше или хуже, корректировать направление развития продукта, опираясь не на интуицию и собственные ощущения, а на метрики и цифры, в которые можно верить. Развивая любой продукт, будь то видеосервис или лента, истории или статьи, хочется уметь измерять условное «счастье» пользователя. Речь пойдёт о ClickHouse, используемых движках и особенностях запросов. В этой статье я расскажу, как…

    Подробнее »
  • Хабрахабр

    Как из-за открытой базы ClickHouse могли пострадать персональные данные пациентов и врачей

    Хотя недавно и писал про «руку Кремля», которую с перепугу обнаружил голландский исследователь в более чем 2000 открытых базах данных. Я много пишу про обнаружение свободно доступных баз данных практически во всех странах мира, но новостей про российские базы данных, оставленные в открытом доступе почти нет. Спешу развенчать этот миф на данном примере. Может сложиться неверное представление, что в России…

    Подробнее »
  • Хабрахабр

    Разгоняем обработку событий до 1,6 миллионов в секунду

    Когда участники HighLoad++ пришли на доклад Александра Крашенинникова, они надеялись услышать про обработку 1 600 000 событий в секунду. Ожидания не оправдались… Потому что во время подготовки к выступлению эта цифра улетела до 1 800 000 — так, на HighLoad++ реальность превосходит ожидания. С тех пор она эволюционировала, в процессе росли объёмы, приходилось решать задачи масштабирования и отказоустойчивости, а в…

    Подробнее »
  • Хабрахабр

    Как без даунтайма масштабировать базы данных в Яндекс.Облаке. Пример с тремя хостами

    Пост подготовили участники команды Яндекс.Облака: Иван Веткасов — архитектор, Леонид Клюев — редактор Теперь давайте перейдем от теории к практике. Недавно мы рассказали об архитектуре Яндекс.Облака. Все они являются платформенными и позволяют сосредоточиться на задаче хранения данных, а не на администрировании инфраструктуры. В Облаке есть несколько сервисов для автоматизированного контроля за СУБД: Managed Service for ClickHouse, Managed Service for PostgreSQL и Managed Service for MongoDB. Например, может возникнуть задача масштабирования в ответ…

    Подробнее »
  • Хабрахабр

    Переход с Redshift на ClickHouse

    Его выбрали потому, что на момент внедрения, по большому счёту, не было альтернатив, сравнимых по стоимости и удобству. Долгое время в iFunny использовался Redshift в качестве базы данных для событий, которые происходят в сервисах бэкенда и мобильных приложениях. Мы долго его изучали, сравнивали стоимость, прикидывали примерную архитектуру и вот, наконец, этим летом решились посмотреть, насколько он нам полезен. Однако всё…

    Подробнее »
  • Хабрахабр

    Использование ClickHouse в VK, или Зачем мы написали KittenHouse

    В начале года мы решили научиться хранить и читать отладочные логи ВКонтакте более эффективно, чем раньше. Отладочные логи — это, к примеру, логи конвертации видео (в основном вывод команды ffmpeg и список шагов по предварительной обработке файлов), которые иногда бывают нам нужны лишь спустя 2-3 месяца после обработки проблемного файла. Стали рассматривать другие варианты и поняли, что нам вполне подходит…

    Подробнее »
  • Хабрахабр

    HighLoad++ Awards: награда, которую деплоили, деплоили и наконец задеплоили

    Например, придумали механику asset pipeline на Rails, и в 2011–2012 году о ней начали выходить статьи в американских блогах, о ней раструбили по всему миру. — На рынке очень грустная ситуация в отношении того, насколько мы, программисты, умеем делиться знаниями и умениями друг с другом. У нас в России сейчас более скептичны к новшествам, чем в американском IT-сообществе. А я…

    Подробнее »
  • Хабрахабр

    Приглашаем на about:cloud — первое мероприятие про облачные технологии от команды Яндекс.Облака

    Если вы интересуетесь облачными технологиями, администрируете системы и сети или разрабатываете ПО, то приходите к нам в гости! Встреча about:сloud — первое крупное мероприятие для широкой аудитории от команды Яндекс.Облака. У Яна яркая биография. Вы сможете пообщаться с техническими руководителями всех сервисов облака, многие из которых подготовили доклады о том, как они создают платформу, и о планах на ближайшее будущее.Одним…

    Подробнее »
  • Хабрахабр

    Видео докладов с Deerploy DevOps MeetUp

    29 сентября мы провели Deerploy DevOps MeetUp, а сегодня публикуем видео выступлений. «Доставляем в Kubernetes. Непрерывно и по-своему», Евгений Дехтярёв, 2ГИС «Ansible идемпотентный», Алексей Соколов, Mail.ru Group «А(и)ПИ — Аудит и Преобразование Инфраструктуры», Виталий Яблонский, FunCorp «Деплой без релиз инженера: автоматизация разработки, тестирования и релиза в Мамбе», Михаил Буйлов, Мамба «Переход на ClickHouse с других систем: проблемы, решения и результаты»,…

    Подробнее »


Кнопка «Наверх»
Закрыть