В нарушение своего руководства для веб-мастеров, было недавно замечено, что Google индексировал свои результаты поиска.
До обновления robots.txt, результаты выдачи выглядели следующим образом:
Согласно разработанному компанией Google руководству, robots.txt предназначается для того, чтобы предупредить сканирование тех страниц поисковой выдачи, которые не интересны для пользователя.
Произошедшее, как отметили в Google – сбой, связанный с несколькими слешами в веб-адресах, а также тем, что разработчики сделали изменение файла robots.txt в google.com/robots.txt.
После внесённых исправлений, поисковая выдача выглядит так:
Вернуться в список новостей