20 лет файлу robots.txt

20 лет назад, 30 июня, появился на свет robots.txt, с помощью директив которого у веб-мастеров появилась возможность блокировки доступа для поисковых роботов к различным разделам сайтов.

Тогда, в начале 90-х годов, сайты не справлялись с большим количеством посещений поисковых роботов и попросту становились недоступны. В то время разработчики не заботились ни о позициях в выдаче, ни о качестве контента (мы писали об этом ранее в новости), нежели чем о доступности сайта для простых пользователей, поэтому 30 июня 1994 года Мартином Костером был разработан стандарт, который помогал закрывать для роботов отдельные страницы и разделы сайта. Этот стандарт был принят и под нововведение были адоптированы и приспособлены алгоритмы таких популярных поисковиков того времени, как AltaVista, WebCrawler и Lycos. И вот спустя 20 лет уже другие поисковые системы всё так же продолжают подчиняться прописанным в robots.txt директивам.