Google опубликовал подробное руководство пользователя для эффективного управления бюджетом при создании сканов для собственников крупных онлайн-ресурсов.
В справке Гугл появилась детальная инструкция, рассказывающая, как грамотно планировать бюджет, выделенный системой для создания сканов документов и изображений (краулинговый бюджет). Руководство предназначено для владельцев крупных и средних ресурсов сети, отвечающих следующим параметрам:
- более миллиона (для сайтов средней посещаемости — от 10 000) уникальных страниц;
- еженедельно изменяющийся контент.
На объем доступного лимитирования для сканирования влияют скорость и потребность в производстве качественных сканов страниц. Но если заданного бюджета недостаточно для владельца портала, он может расширить его, используя два возможных варианта:
- Выделить отдельные ресурсы серверов.
- Повысить ценность контентного наполнения для пользователей сети.
Также эксперты Google создали ряд полезных рекомендаций, позволяющих улучшать эффективность работы при создании сканов. Это следующие советы:
- при сканировании следует закрывать повторяющиеся URL-адреса, чтобы робот-поисковик не тратил время на рассмотрение страниц, не представляющих особую ценность;
- следует удалить страницы, на которых опубликован одинаковый текстовый материал (идентичный);
- включить блокировку сканирования тех страниц, которые не подлежат индексации (для этих целей можно применить файлы txt либо специальный инструмент — систему «Параметры URL»);
- не применять в работе теги под именем noindex и файловик robots.txt, это позволит временно расширить установленный лимит и запустить сканирование других важных страниц;
- для безвозвратно удаляемых страниц применить код ошибки 410 или 404;
- ложные ошибки удалять с кодировкой 404;
- своевременно обновлять файловики Sitemap;
- стараться избегать слишком длинных и сложных переадресаций, которые создают помехи при сканировании;
- для ускорения загрузки страниц их следует оптимизировать;
- и не забывать проверять, как идет процесс сканирования.
Если у владельца ресурса нет слишком масштабного заполнения и изменения страниц, при сканировании достаточно только регулярно обновлять текущие файлы Sitemap и своевременно проверять и изучать отчет о проведенной индексации. В случае, когда ресурс содержит контент, длительное время не подвергающийся индексированию, для выяснения причин такой ситуации применяйте встроенные инструменты для проверки и анализа URL.
Смотрите также: Продвижение сайтов с гарантией
Вернуться в список новостей
