SQL
-
Хабрахабр
pgmig — история разработки инструмента управления изменениями в БД или чего нам не хватило в Liquibase и Flyway
Введение Всем привет! На связи разработчики БД - Юрий Плотников и Андрей Григорьев, в этот раз рассказывать мы будем вдвоем, вернее не совсем вдвоем - об одном "фирменном" решении расскажут коллеги из нашего центра компетенций PostgreSQL. Пара слов о заглавной картинке и логотипе Несмотря на то, что история pgmig началась раньше, большое развитие он получил при разработке наших "сказочных" продуктов…
Читать далее » -
Хабрахабр
Всегда ли хорош Index Only Scan?
Среди применяемых в PostgreSQL методов доступа к данным Index Only Scan стоит особняком, считаясь у многих разработчиков "волшебной пилюлей" для ускорения работы запроса - мол, "Index Scan - плохо, Index Only Scan - хорошо, как только получим его в плане - все станет замечательно". Как минимум, это утверждение неверно. Как максимум, при определенных условиях может вызвать проблемы чуть ли не…
Читать далее » -
Хабрахабр
Аналитика небольших данных: как совместить Excel, Python и SQL с помощью инструментов с открытым исходным кодом
Введение Однажды Джоэл Спольски в своей знаменитой презентации «You Suck at Excel» сказал, что существуют сотни коммерческих продуктов, вместо которых можно было бы использовать табличку Excel. В этой шутке очень высокая доля правды. Excel благородя интуитивному UI, формулам и VBA дает возможность пользователям самим решать широкий спектр задач, избавляя от необходимости каждый раз обращаться за помощью к разработчикам или внедрять…
Читать далее » -
Хабрахабр
Многомерные базы данных
Многомерные базы данных (МБД) представляют собой эффективные инструменты для организации и анализа больших объемов данных в сфере аналитики. Они представляют данные в форме кубов, где каждая ось представляет собой отдельное измерение, а значения представляются в виде ячеек. Концепция МБД зародилась в конце 1970-х годов. Многомерные базы данных отличаются от обычных реляционных баз данных тем, что они специально оптимизированы для работы…
Читать далее » -
Хабрахабр
Data Consistency: как быть уверенным, что с данными всё ок
Я довольно долгое время работала аналитиком в Яндекс.Метрике - системе web аналитики. Такие системы помогают сайтам собирать и анализировать поведение пользователей на сайтах. Естественно, в таких продуктах как аналитические системы, данные - это главная ценность. Поэтому одна из моих задач как аналитика была мониторинг того, что с данными всё ок. Есть 2 аспекта качества данных, за которыми стоит следить: В…
Читать далее » -
Хабрахабр
Оптимизация работы с большим объемом данных при помощи партиционирования в SQL
Автор статьи: Артем Михайлов Работа с большим объемом данных является неотъемлемой частью профессиональной разработки. Независимо от того, занимаетесь ли вы разработкой веб-приложений, аналитикой данных или созданием сложных систем управления, эффективная обработка больших объемов данных – это фундамент успеха вашего проекта. Как разработчики, мы часто сталкиваемся с задачами, в которых требуется обрабатывать и анализировать огромные объемы данных. Наша задача – сделать…
Читать далее » -
Хабрахабр
Шпаргалка по SQL, которая выручает меня на собесах
Привет, Хабр! Я решил посвятить свою первую статью SQL. Вопросы, рассмотренные ниже мне задавали на собеседованиях на позицию python-разработчика. Естественно отвечать правильно получалось не всегда, а если точнее то чаще не правильно, однако проведя N часов в рефлексии я составил перечень ответов, которыми пользуюсь до сих пор. Данная информация предполагает знание основ языка запросов и я надеюсь, она окажется полезной…
Читать далее » -
Хабрахабр
Подойдет ли PostgreSQL вообще всем проектам или нужны альтернативы
В интернете только и разговоров, что про PostgreSQL и MySQL, но выбор СУБД много шире. В этом материале мы рассмотрим несколько популярных баз данных, разберемся с их спецификацией и сценариями использования, чтобы выйти за рамки привычных решений. «Базы данных — это просто», говорили они Кажется, чтобы развернуть любую базу данных, достаточно пяти секунд. Устанавливаем Docker, пишем команды: docker run postgres…
Читать далее » -
Хабрахабр
ClickHouse: полезные лайфхаки
Я начала пользоваться ClickHouse до того, как это стало мэйнстримом: первый раз я столкнулась c этой базой данных лет 8 назад. C тех пор я уверена, что это лучшая DB для аналитики. Большинство аналитиков, которых я знаю, в восторге от ClickHouse (иногда чтобы проникнуться, требуется немного времени: разобраться и привыкнуть к синтаксису). Однако, я не могу не отметить, что администрирование…
Читать далее » -
Хабрахабр
Hibernate — проблема декартова произведения при запросах с пагинацией
Привет! Меня зовут Артём Гордиенко, я работаю Java/Kotlin-разработчиком в Росбанке и занимаюсь разработкой микросервисов, необходимых для внешнеэкономической деятельности интернет-клиент-банка юридических лиц. Реализация этого доклада стала возможной благодаря одному-единственному сообщению, обнаруженному в логах одного нового микросервиса. Как оказалось, причина сообщения серьезно влияет на производительность приложения. Мне это показалось довольно интересным, и захотелось поделиться информацией с другими разработчиками. Многие сталкиваются с реализацией…
Читать далее »