Как же бот будет получать информацию о сайте после подачи его URL на индексирование?
Он прежде всего попадая по ссылке http://ваш-домен.ru/ будет искать файл robots.txt в котором есть инструкции как сайт должен быть индексирован.
SEO -оптимизаторы также знают как важен файл sitemap.xml помещенного в корне /
http://ваш-домен.ru/sitemap.xml в котором есть все ссылки отображающие структуру вашего сайта.
В принципе эти два файла важны для дальнейшего его продвижения и для поисковых систем. Но многие пренебрегают этим.
С середины мая 2008 года многие сайты посвященные seo-тематики сообщили, что боты всемирно известных поисковиков теперь понимают такую новую команду :
Sitemap: http://www.ваш-домен/sitemap.xml
Если в robots.txt присутствует эта команда, (а также файл sitemap.xml), то файл xml будет обработан поисковиками. Преимущество очевидно: это позволит поисковым роботам быстро узнавать о структуре сайта, обновлениях и изменениях. Вы должны использовать это в свою пользу!
Так что для SEO оптимизации знать основы команд в robots.txt и иметь правильно сформированную (генерированную) карту сайта в корне вашего домена это лишь одна из основ в продвижении вашего сайта.
Пока;)
Комментарии
Отправить комментарий