Правильные robots.txt для CMS

Amiro

Bitrix

DLE

Drupal

InstantCMS

ImageCMS

HostCMS

Joomla

LiveStreet

Magento

MODx

NetCat

Opencart

PHPShop

Simpla

Typo3

UMI CMS

UCOZ

WebAsyst

Wordpress


Файл robots.txt – это текстовый файл, который лежит в корне сайта. В файле содержатся различные инструкции для поисковых и не только роботов. Они могут запрещать к индексации некоторые разделы, категории, каталоги или страницы сайта; показать поисковым роботам, какое зеркало сайта является главным; указать путь к карте сайта; задать желательный интервал для робота между скачиванием документов, страниц с сервера сайта и т.д.

Здесь мы можете посмотреть стандартные и правильные robots.txt для представленного списка популярных CMS.