В Google Webmaster Tools обновился инструмент для тестирования файлов robots.txt и выявления проблем в них. В новой версии можно выявлять ошибки, из-за которых поисковой робот не индексирует страницы сайта, а так же редактировать файлы, проверять URL на наличие их блокировки и просматривать старые версии файла robots.txt
Тестер находится в разделе «Индексирование» в Google Webmaster Tools.
С помощью этого инструмента можно вносить изменения в файл и сразу же проверять их. Для вступления изменений в силу достаточно просто загрузить новую версию файла на сервер. Так же имеется возможность просматривать более ранние версии файла и выявлять, когда была устанановлена блокировка индексирования. Например, если при обращении к robots.txt сервер выдаёт 500 ошибку, то Google, как правило, прекращает дальнейшую индексацию сайта.
Если вы не уверены в правильности настройки robots.txt на вашем сайте – вы можете обратиться к специалистам нашей компании, которые с радостью помогут вам проанализировать ваш сайт на наличие ошибок.