Robots.txt

текстовый файл в корневом каталоге сайта с написанными на специальном языке указаниями для роботов поисковых систем. Файл указывает им, какие разделы сайта можно, а какие нельзя индексировать, а также содержит другие директивы. Написанный с ошибками Robots.txt может стать причиной множества проблем.