DAG

  • ХабрахабрФото Apache Airflow: делаем ETL проще

    Apache Airflow: делаем ETL проще

    Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт». Я расскажу вам о замечательном инструменте для разработки ETL-процессов — Apache Airflow. Но Airflow настолько универсален и многогранен, что вам стоит присмотреться к нему даже если вы не занимаетесь потоками данных, а имеете потребность периодически запускать какие-либо процессы и следить за их выполнением. И да, я буду не…

    Читать далее »
  • ХабрахабрФото [Перевод] Консенсус на репутации ноды. Нужен ли?

    [Перевод] Консенсус на репутации ноды. Нужен ли?

    Криптопроектов тьма, есть куча консенсусов: на основе труда и владения, золота, нефти, выпеченных пирожков (есть и такой, да-да). Знаю-знаю. Это и предлагаю обсудить после прочтения перевода "облегченной" технической документации проекта *Созвездие (Constellation). Что нам ещё от одного? Конечно, это не полное описание алгоритма, но мне интересно мнение комьюнити хабра, имеет ли место "быть" такому консенсусу или он даром не нужен?…

    Читать далее »
  • ХабрахабрФото Обмен данными в распределенных сетях

    Обмен данными в распределенных сетях

    В децентрализованных сетях обрабатывать данные гораздо сложнее, чем в централизованных. К тому же в техникумах и вузах обучают, в основном, программированию клиент-серверных систем. Поэтому p2p-программистов на порядки меньше, чем программистов клиент-серверных систем. Этой статьей я решил частично восполнить пробел, перечислив восемь известных мне распределённых технологий: из них первые 3 описывают способы распространения (рассылки) данных по сети, другие 5 разъясняют способы…

    Читать далее »


Кнопка «Наверх»