Каждому веб-мастеру приходилось сталкиваться с оптимизацией своего сайта начиная от настройки ЧПУ до продумывания того как боты поисковых систем будут индексировать созданный сайт. Как же бот будет получать информацию о сайте после подачи его URL на индексирование? Он прежде всего попадая по ссылке http://ваш-домен.ru/ будет искать файл robots.txt в котором есть инструкции как сайт должен быть индексирован.
JOOMLA/ OPENCART/ WORDPRESS/ LARAVEL/ CODEIGNITER/ YII / CAKEPHP/ И ДРУГОЕ...