Файл robots.txt – это текстовый файл, который лежит в корне сайта. В файле содержатся различные инструкции для поисковых и не только роботов. Они могут запрещать к индексации некоторые разделы, категории, каталоги или страницы сайта; показать поисковым роботам, какое зеркало сайта является главным; указать путь к карте сайта; задать желательный интервал для робота между скачиванием документов, страниц с сервера сайта и т.д.

Здесь мы можете посмотреть стандартные и правильные robots.txt для представленного списка популярных CMS.