Главная » Архив меток: clickhouse

Архив меток: clickhouse

Использование ClickHouse в VK, или Зачем мы написали KittenHouse

В начале года мы решили научиться хранить и читать отладочные логи ВКонтакте более эффективно, чем раньше. Отладочные логи — это, к примеру, логи конвертации видео (в основном вывод команды ffmpeg и список шагов по предварительной обработке файлов), которые иногда бывают нам нужны лишь спустя 2-3 месяца после обработки проблемного файла. Стали рассматривать другие варианты и поняли, что нам вполне подходит ...

Читать далее »

HighLoad++ Awards: награда, которую деплоили, деплоили и наконец задеплоили

Например, придумали механику asset pipeline на Rails, и в 2011–2012 году о ней начали выходить статьи в американских блогах, о ней раструбили по всему миру. — На рынке очень грустная ситуация в отношении того, насколько мы, программисты, умеем делиться знаниями и умениями друг с другом. У нас в России сейчас более скептичны к новшествам, чем в американском IT-сообществе. А я ...

Читать далее »

Приглашаем на about:cloud — первое мероприятие про облачные технологии от команды Яндекс.Облака

Если вы интересуетесь облачными технологиями, администрируете системы и сети или разрабатываете ПО, то приходите к нам в гости! Встреча about:сloud — первое крупное мероприятие для широкой аудитории от команды Яндекс.Облака. У Яна яркая биография. Вы сможете пообщаться с техническими руководителями всех сервисов облака, многие из которых подготовили доклады о том, как они создают платформу, и о планах на ближайшее будущее.Одним ...

Читать далее »

Видео докладов с Deerploy DevOps MeetUp

29 сентября мы провели Deerploy DevOps MeetUp, а сегодня публикуем видео выступлений. «Доставляем в Kubernetes. Непрерывно и по-своему», Евгений Дехтярёв, 2ГИС «Ansible идемпотентный», Алексей Соколов, Mail.ru Group «А(и)ПИ — Аудит и Преобразование Инфраструктуры», Виталий Яблонский, FunCorp «Деплой без релиз инженера: автоматизация разработки, тестирования и релиза в Мамбе», Михаил Буйлов, Мамба «Переход на ClickHouse с других систем: проблемы, решения и результаты», ...

Читать далее »

Deerploy DevOps MeetUp

Следующий на очереди — Deerploy DevOps MeetUp, на котором выступят специалисты от 2ГИС, Mail.ru Group, Altinity, Мамбы, Positive Technologies и, конечно, же FunCorp. Мы продолжаем серию технических митапов. Программа под катом. Программа Евгений Дехтярёв, 2ГИС «Доставляем в Kubernetes. Непрерывно и по-своему» История развития PaaS в 2ГИС Сравнение PaaS со стандартным путём доставки приложений и инфраструктуры на бой Собственный способ доставки ...

Читать далее »

[Из песочницы] Анализ блокчейн, или почему сломался миксер?

По материалам моего доклада на конференции «Цифровая трансформация» в Москве 16 апреля 2018 г Не только какие там алгоритмы, криптография, платформы и криптовалюты. Мне интересно, как работает блокчейн. Если вы в этом сомневаетесь, посмотрите на этот граф распродажи токенов Aragon: Для меня блокчейн — не только технология, но и новый вид жизни, новая вселенная. Без этого взаимодействия блокчейн и криптовалюты ...

Читать далее »

DevConf: перспективные базы данных для highload

DevConf 2018 уже на следующей неделе! В прошлом году Юрий Насретдинов провел интересный обзор перспективных систем хранения данных для highload. Видео с докладом доступно на странице доклада. А для хабра-читателей предлагаю краткий пересказ. В начале расскажу как нужно подходить к выбору технологии для highload-проекта. В первую очередь, должно быть понимание как оно работает. Не только сильные, но и слабые стороны. ...

Читать далее »

Toп 10 ошибок в C++ проектах за 2017 год

За окном уже почти как 3 месяца стоит 2018 год, а это значит, что пришло время (пусть и немного запоздало) составить топ 10 ошибок, найденных анализатором PVS-Studio в C++ проектах за прошедший год. Итак, начнём!Примечание. Для большего интереса я рекомендую вам сначала попробовать самостоятельно найти ошибки в приведённых фрагментах кода, и только после этого читать предупреждение анализатора и пояснения. Думаю, ...

Читать далее »

Применение моделей CatBoost внутри ClickHouse. Лекция Яндекса

В каких ситуациях удобно применять предобученные модели машинного обучения внутри ClickHouse? Почему для такой задачи лучше всего подходит метод CatBoost? Не так давно мы провели встречу, посвящённую одновременному использованию этих двух опенсорс-технологий. На встрече выступил разработчик Николай Кочетов — его лекцией мы и решили с вами поделиться. Николай разбирает описанную задачу на примере алгоритма предсказания вероятности покупки. [embedded content] — ...

Читать далее »

[Перевод] Сравнение открытых OLAP-систем Big Data: ClickHouse, Druid и Pinot

ClickHouse, Druid и Pinot — три открытых хранилища данных, которые позволяют выполнять аналитические запросы на больших объемах данных с интерактивными задержками. Эта статья — перевод подробного сравнения, выполненного Романом Левентовым. Спойлер ClickHouse Druid или Pinot В организации есть эксперты по C++ В организации есть эксперты по Java Малый кластер Большой кластер Немного таблиц Много таблиц Один набор данных Несколько несвязанных наборов данных Таблицы и данные находятся в кластере перманентно Таблицы и наборы ...

Читать далее »