Главная » Архив меток: data engineering

Архив меток: data engineering

Личный опыт: Data Engineering на Upwork

Я много лет работал Data Engineer'ом и Data Scientist'ом, решал сложные бизнес-кейсы, строил большие системы, выводил это все в продакшен. В начале 2017го я бросил пить, курить и работать в офисе и ушел фрилансить, экспериментировать с альтернативными формами занятости. Довольно много времени я провел на Upwork. Судя по многочисленным комментариям, уважаемая аудитория не до конца представляет себе, что это такое. ...

Читать далее »

Второй блин: анонс SmartData 2018

При подготовке первой нет ни возможности «сделать как раньше», ни зрительского фидбэка, и организаторам приходится делать смелые предположения. Чем первое проведение конференции отличается от второго? Но это значит, что после первого раза непременно появятся новые соображения, которые помогут во второй. Это не значит, что получится плохо. В прошлом году мы впервые провели конференцию SmartData, а теперь пришло время «второго раза»: ...

Читать далее »

[Перевод] Введение в Data Engineering. ETL, схема «звезды» и Airflow

Способность data scientist-а извлекать ценность из данных тесно связана с тем, насколько развита инфраструктура хранения и обработки данных в компании. Это значит, что аналитик должен не только уметь строить модели, но и обладать достаточными навыками в области data engineering, чтобы соответствовать потребностям компании и браться за все более амбициозные проекты. Мне повезло, поскольку я успел поработать со многими инженерами, которые ...

Читать далее »