DAG

  • ХабрахабрФото Causal Inference: DAG

    Causal Inference: DAG

    Многие задачи, встающие перед аналитиками в компаниях, в конечном итоге сводятся к вопросам: а что если случится это? что будет, если мы введём эту фичу? что будет, если мы примем такую стратегию действий? что будет, если мы ничего не будем делать? Вы уже наверняка знаете, что лучший способ получить точные ответы на такие вопросы — это эксперименты. Наверное, вы также…

    Читать далее »
  • ХабрахабрФото [Перевод] Как Airbnb ошиблась и зачем строила Wall

    [Перевод] Как Airbnb ошиблась и зачем строила Wall

    Чтобы ускорить принятие решений и лучше поддерживать мониторинг метрик бизнеса, в Airbnb внедрили сертификацию всех метрик и наборов данных, написали рекомендации о проверках качества данных, но не обеспечили их выполнение. О возникшей из-за этого проблеме и её решении рассказываем к старту флагманского курса по Data Science. Добавление проверок качества данных в конвейер стало стандартной практикой в нашем рабочем процессе инженерии…

    Читать далее »
  • ХабрахабрФото Apache Airflow: делаем ETL проще

    Apache Airflow: делаем ETL проще

    Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт». Я расскажу вам о замечательном инструменте для разработки ETL-процессов — Apache Airflow. Но Airflow настолько универсален и многогранен, что вам стоит присмотреться к нему даже если вы не занимаетесь потоками данных, а имеете потребность периодически запускать какие-либо процессы и следить за их выполнением. И да, я буду не…

    Читать далее »
  • ХабрахабрФото [Перевод] Консенсус на репутации ноды. Нужен ли?

    [Перевод] Консенсус на репутации ноды. Нужен ли?

    Криптопроектов тьма, есть куча консенсусов: на основе труда и владения, золота, нефти, выпеченных пирожков (есть и такой, да-да). Знаю-знаю. Это и предлагаю обсудить после прочтения перевода "облегченной" технической документации проекта *Созвездие (Constellation). Что нам ещё от одного? Конечно, это не полное описание алгоритма, но мне интересно мнение комьюнити хабра, имеет ли место "быть" такому консенсусу или он даром не нужен?…

    Читать далее »
  • ХабрахабрФото Обмен данными в распределенных сетях

    Обмен данными в распределенных сетях

    В децентрализованных сетях обрабатывать данные гораздо сложнее, чем в централизованных. К тому же в техникумах и вузах обучают, в основном, программированию клиент-серверных систем. Поэтому p2p-программистов на порядки меньше, чем программистов клиент-серверных систем. Этой статьей я решил частично восполнить пробел, перечислив восемь известных мне распределённых технологий: из них первые 3 описывают способы распространения (рассылки) данных по сети, другие 5 разъясняют способы…

    Читать далее »


Кнопка «Наверх»