Sitemap и robots.txt в Joomla

Каждому веб-мастеру приходилось сталкиваться с оптимизацией своего сайта начиная от  настройки ЧПУ до продумывания того как боты поисковых систем будут индексировать созданный сайт.
Как же бот будет получать информацию о сайте после подачи его URL на индексирование?
Он прежде всего попадая по ссылке http://ваш-домен.ru/  будет искать файл robots.txt в котором есть инструкции как сайт должен быть индексирован.