crawler

  • ХабрахабрФото Google открывает исходный код парсера robots.txt

    Google открывает исходный код парсера robots.txt

    0. Сегодня компания Google анонсировала черновик RFC стандарта Robots Exclusion Protocol (REP), попутно сделав доступным свой парсер файла robots.txt под лицензией Apache License 2. Инициатива компании направлена на то, чтобы уменьшить различия между реализациями. До сегодняшнего дня какого-либо официального стандарта для Robots Exclusion Protocol (REP) и robots.txt не существовало (ближайшим к нему было вот это), что позволяло разработчикам и пользователям…

    Читать далее »


Кнопка «Наверх»