puppeteer

  • ХабрахабрФото Как сайты определяют ботов? Деобфускация Akamai Bot Manager 2.0

    Как сайты определяют ботов? Деобфускация Akamai Bot Manager 2.0

    Akamai Technologies - американская компания, занимающаяся защитой веб-ресурсов от ботов с помощью своего продукта Bot Manager. В её портфолио числятся такие гиганты ритейла, как Nike, Adidas и Asos, для которых особенно важен контроль за ботами, автоматизирующими процесс выкупа редких/лимитированных товаров с целью их перепродажи по завышенной цене. В данной статье мы взглянем на скрипт антибота Akamai и рассмотрим, какие методы…

    Читать далее »
  • ХабрахабрФото Пишем API автотесты на TypeScript + Playwright

    Пишем API автотесты на TypeScript + Playwright

    Вступление В данной статье мы разберем API автотесты на языке TypeScript. В качестве фреймворка выберем playwright. Хочется, чтобы наши автотесты отвечали следующим требованиям: Проверки должны быть полными, то есть мы должны проверить статус код ответа, данные в теле ответа, провалидировать JSON схему; Подготовка тестовых данных должна быть на уровне фикстур; Понятный и красивый отчет; Requirements Для написания API автотестов мы…

    Читать далее »
  • ХабрахабрФото Chrome Headless против cloudflare JS challenge

    Chrome Headless против cloudflare JS challenge

    Автоматизация сбора информации с различных ресурсов - обычная задача для людей разных сфер деятельности. Жаль, что не всегда бывает достаточно сделать простой GET запрос и разобрать полученный html. Веб-сайты, с которых собираются данные, принимают защитные меры для предотвращения автоматизированных запросов. Одной из таких мер является использование cloudflare. Сегодня мы посмотрим, как cloudflare выявляет ботов через javascript и коснёмся темы деобфускации…

    Читать далее »
  • ХабрахабрФото Используем DevTools в headless Chrome

    Используем DevTools в headless Chrome

    Если вы когда-нибудь использовали Puppeteer, то наверняка сталкивались с неудобной отладкой скриптов на удалённых нодах headless Chrome. Часто так не хватает консоли, а лучше полноценной панели инструментов для изучения запросов и логов… хотя постойте. Puppeteer сам по себе построен поверх Chrome DevTools Protocol, значит, наверняка есть куча решений для проброса данных в локальные DevTools? А вот и нет. Есть только…

    Читать далее »
  • ХабрахабрФото Автогенерация тестов на Puppeteer встроена в Chrome DevTools

    Автогенерация тестов на Puppeteer встроена в Chrome DevTools

    В Chrome 89 в DevTools добавлена экспериментальная поддержка автогенерации JS-скриптов на Puppeteer. Схематично это работает так: вы открываете нужную страницу, в DevTools включаете запись действий, и после делаете что-то на странице обычным образом (кликаете по ссылкам и кнопкам, переходите на другие страницы, вводите текст). По мере выполнения действий браузер наполняет DevTools-вкладку с виртуальным файлом записи JS-кодом, описывающим через API Puppeteer…

    Читать далее »
  • ХабрахабрФото Запись видео UI автотестов, работающих в headless Chrome

    Запись видео UI автотестов, работающих в headless Chrome

    Всем привет! В данной статье хочется рассказать о том, как была решена задача записи видео автотестов, работающих в headless Chrome (с записью в не headless режиме проблем быть не должно). Будет рассмотрено несколько разных подходов, рассказано про трудности и пути их решения. Постановка задачи Тесты выполняются под Windows Тесты используют Selenium Web Driver + Headless Chrome Тесты запускаются в несколько…

    Читать далее »
  • ХабрахабрФото [Перевод] Node.js, Tor, Puppeteer и Cheerio: анонимный веб-скрапинг

    [Перевод] Node.js, Tor, Puppeteer и Cheerio: анонимный веб-скрапинг

    Веб-скрапинг — это метод сбора данных с веб-сайтов. Этот термин обычно используется в применении к автоматизированному сбору данных. Сегодня мы поговорим о том, как собирать данные с сайтов анонимно. Причина, по которой некто может захотеть анонимности в деле веб-скрапинга, заключается в том, что многие веб-серверы применяют определённые правила к подключениям с IP-адресов, с которых за некий отрезок времени выполнено какое-то…

    Читать далее »
  • ХабрахабрФото Полный цикл тестирования React-приложений. Доклад Авто.ру

    Полный цикл тестирования React-приложений. Доклад Авто.ру

    Стремление уйти от ручного регрессионого тестирования — хороший повод внедрить автотесты. Вопрос, какие именно? Разработчики интерфейсов Наталья Стусь и Алексей Андросов вспомнили, как их команда прошла несколько итераций и построила тестирование фронтенда в Авто.ру на базе Jest и Puppeteer: юнит-тесты, тесты на отдельные React-компоненты, интеграционные тесты. Самое интересное из этого опыта — изолированное тестирование React-компонентов в браузере без Selenium Grid,…

    Читать далее »
  • ХабрахабрФото Жадный гном: Как я писал аналитику рынка в Lineage 2

    Жадный гном: Как я писал аналитику рынка в Lineage 2

    За окном дожди и желания проводить время на открытом воздухе все меньше и меньше. Вот и наступила осенне-зимняя пора. И опять я, поддавшись ностальгии, согласился. И вот приходит мне сообщение от товарища "А давай поиграем в Lineage 2?". Выбрали мы свеженький сервер на ру-офе и создали персонажей. Нужно круглыми сутками охотиться на монстров с целью получения наживы.  В отличии от…

    Читать далее »
  • ХабрахабрФото Модульное тестирование интерфейсов в Headless Chrome. Лекция Яндекса

    Модульное тестирование интерфейсов в Headless Chrome. Лекция Яндекса

    Чтобы непрерывно улучшать большие клиентские интерфейсы, нужна мощная система автотестов. Разработчик Яндекса Дмитрий Андриянов dima117 кое-что про это знает — пару месяцев назад он поделился своим опытом на Я.Субботнике в Нижнем Новгороде. [embedded content] — Сегодня я расскажу, как мы в Директе пишем модульные тесты на веб-интерфейс. Мы в целом посмотрим, чем тесты на интерфейс отличаются от других тестов. Рассмотрим…

    Читать далее »


Кнопка «Наверх»