Главная » Архив меток: Apache

Архив меток: Apache

[Из песочницы] Cassandra Sink для Spark Structured Streaming

Пару месяцев назад я начала изучать Spark, и в какой-то момент столкнулась с проблемой сохранения вычислений Structured Streaming в базе данных Cassandra. Я надеюсь, что пост будет полезен тем, кто недавно начал работать со Spark Structured Streaming и задается вопросом, как выгружать результаты вычислений в базу данных. В данном посте я привожу простой пример создания и использования Cassandra Sink для ...

Читать далее »

Введение в разработку типичного Open Source решения

11 сентября в Санкт-Петербурге прошел Java Meetup, полностью посвященный Apache Ignite. Огромное спасибо организаторам за приглашение и возможность рассказать об Open Source от лица разработчика этого самого Open Source. Учитывая позитивную реакцию зала, я решил поделиться презентацией и с теми, кто не смог присутствовать на митапе. Под катом вас ожидает текстовая версия презентации, полная субъективного восприятия Open Source, как позитивного, ...

Читать далее »

Разработчики остались неизвестны. Лекция Яндекса

Этот доклад руководителя группы разработки ClickHouse Алексея Миловидова представляет собой обзор мало кому известных СУБД. Некоторые из них устарели, некоторые прекратили свое развитие и заброшены. Алексей обращает внимание на интересные архитектурные решения в перечисленных примерах, разбирается в их судьбе и объясняет, каким требованиям должен отвечать ваш опенсорс-проект. — Мой доклад будет про базы данных. Позвольте сразу спросить, схема метрополитена какого ...

Читать далее »

[Перевод] Как настроить Apache HTTP с SSL-сертификатом

Apache HTTP все еще является лидером на рынке веб-серверов среди миллиона самых нагруженных сайтов. Очевидно, что показатели Nginx постепенно растут, поэтому, если вы администрируете систему/веб-сеть/связующее программное обеспечение, то вы должны одинаково хорошо знать веб-серверы Apache и Nginx. Однако, в этой статье я рассмотрю только Apache Web Server. Давайте приступим. После установки SSL-сертификата настроенный домен/IP будут доступны через HTTPS. Мы сделаем ...

Читать далее »

390k. вебсайтов с открытой папкой .git

В июле исследователь безопасности Владимир Смитка решил проверить интернет на предмет наличия открытых папок .git после того, как недавно был проведен подобный аудит для интернет доменов Чехии и Словакии. Напомню, 9 лет назад точно такая же история была с российским сегментом интернета пораженным синдромом открытой .svn. Как говорится: «никогда такого не было, и вот опять». Далее представлены результаты кропотливой работы ...

Читать далее »

Книга «Apache Kafka. Потоковая обработка и анализ данных»

При работе любого enterprise-приложения образуются данные: это файлы логов, метрики, информация об активности пользователей, исходящие сообщения и т. п. Правильные манипуляции над всеми этими данными не менее важны, чем сами данные. Если вы — архитектор, разработчик или выпускающий инженер, желающий решать подобные проблемы, но пока не знакомы с Apache Kafka, то именно из этой замечательной книги вы узнаете, как работать ...

Читать далее »

RabbitMQ против Kafka: применение Kafka в событийно ориентированных приложениях

В этой части мы обратимся к Kafka и сравним её с RabbitMQ, чтобы получить некоторые представления об их различиях. В предыдущей статье мы рассмотрели шаблоны и топологии, применяемые в RabbitMQ. Вообще, это скорее спектр, чем четкое разделение. Следует иметь в виду, что сравниваться будут скорее архитектуры событийно-ориентированных приложений, а не конвейеры обработки данных, хотя грань между этими двумя понятиями в ...

Читать далее »

[Из песочницы] Локальный веб-сервер под Linux, с автоматическим поднятием хостов и переключением версий PHP

Скорее всего какие-то части этой статьи уже знакомы многим хаброжителям, но в связи с покупкой нового рабочего ноутбука я решил собрать все крупинки воедино и организовать удобное средство для разработки. Мне часто приходится работать со множеством маленьких проектов, с разными версиями PHP, часто переводить старые проекты на новые версии. В далёком прошлом, когда я был пользователем Windows то использовал OpenServer. ...

Читать далее »

RabbitMQ против Kafka: два разных подхода к обмену сообщениями

Краеугольным камнем архитектур IIoT да и вообще любых архитектур работающих с BigData является потоковая обработка данных. В прошлых двух статьях мы рассказывали об IIoT — индустриальном интернете вещей — строили архитектуру, чтобы принимать данные от сенсоров, паяли сами сенсоры. Стандартом работы с рассылкой сообщений сейчас стала Apache Kafka. В ее основе лежит концепция передачи сообщений и очередей. Однако, для того, ...

Читать далее »

Классификация больших объемов данных на Apache Spark с использованием произвольных моделей машинного обучения

Часть 1: Постановка задачи Привет, Хабр! Я архитектор решений в компании CleverDATA. Сегодня я расскажу про то, как мы классифицируем большие объемы данных с использованием моделей, построенных с применением практически любой доступной библиотеки машинного обучения. В этой серии из двух статей мы рассмотрим следующие вопросы. Как представить модель машинного обучения в виде сервиса (Model as a Service)? Как физически выполняются ...

Читать далее »