интернет-маркетинг
Государственная
аккредитация
Бизнес-партнер
1С-Битрикс
Рейтинг рунета
ТОП-50
Digital Rocket – продвижение и раскрутка сайтов в Москве 8 (495) 255-25-67 info@dirocket.ru

Поисковая система Гугл разработала подробную инструкцию по работе с краулинговым бюджетом

Google опубликовал подробное руководство пользователя для эффективного управления бюджетом при создании сканов для собственников крупных онлайн-ресурсов.

В справке Гугл появилась детальная инструкция, рассказывающая, как грамотно планировать бюджет, выделенный системой для создания сканов документов и изображений (краулинговый бюджет). Руководство предназначено для владельцев крупных и средних ресурсов сети, отвечающих следующим параметрам:

  • более миллиона (для сайтов средней посещаемости — от 10 000) уникальных страниц;
  • еженедельно изменяющийся контент.

На объем доступного лимитирования для сканирования влияют скорость и потребность в производстве качественных сканов страниц. Но если заданного бюджета недостаточно для владельца портала, он может расширить его, используя два возможных варианта:

  1. Выделить отдельные ресурсы серверов.
  2. Повысить ценность контентного наполнения для пользователей сети.

Также эксперты Google создали ряд полезных рекомендаций, позволяющих улучшать эффективность работы при создании сканов. Это следующие советы:

  • при сканировании следует закрывать повторяющиеся URL-адреса, чтобы робот-поисковик не тратил время на рассмотрение страниц, не представляющих особую ценность;
  • следует удалить страницы, на которых опубликован одинаковый текстовый материал (идентичный);
  • включить блокировку сканирования тех страниц, которые не подлежат индексации (для этих целей можно применить файлы txt либо специальный инструмент — систему «Параметры URL»);
  • не применять в работе теги под именем noindex и файловик robots.txt, это позволит временно расширить установленный лимит и запустить сканирование других важных страниц;
  • для безвозвратно удаляемых страниц применить код ошибки 410 или 404;
  • ложные ошибки удалять с кодировкой 404;
  • своевременно обновлять файловики Sitemap;
  • стараться избегать слишком длинных и сложных переадресаций, которые создают помехи при сканировании;
  • для ускорения загрузки страниц их следует оптимизировать;
  • и не забывать проверять, как идет процесс сканирования.

Если у владельца ресурса нет слишком масштабного заполнения и изменения страниц, при сканировании достаточно только регулярно обновлять текущие файлы Sitemap и своевременно проверять и изучать отчет о проведенной индексации. В случае, когда ресурс содержит контент, длительное время не подвергающийся индексированию, для выяснения причин такой ситуации применяйте встроенные инструменты для проверки и анализа URL.

Смотрите также: Продвижение сайтов с гарантией

Вернуться в список новостей
Поисковая система Гугл разработала подробную инструкцию по работе с краулинговым бюджетом
Дата публикации:
04.12.2020
Теги новости:
Смотрите также