robots txt - для чего он ? что с ним делать?

Что нужно закрывать 1) служебные файлы 2) результаты поиска на сайте 3) частично "тэги" (страницы которые CMS создают на автомате) 4) страницы которые не нужны в поиске (по Вашему мнению) Что указывать 1) Host: site.ru / www.site.ru 2) ссылку на site.ru/sitemap.xml https://www.google.com/webmasters/tools/robots-testing-tool webmaster.yandex.ru Файл robots.txt — очень важный и нужный инструмент для сайта. robots txt позволяет сделать запрет индексации в посикавиках таких как яндекс,google ит.д Индексация так же зависит от файла robots txt Правильный robots txt поможет Вашему сайту занять более высокие позиции в поисковике и указать поисковому роботу какие страницы должны быть в поиске, а какие он должен игнорировать.