Создание файла robots.txt
Войдите в инструменты Google для веб-мастеров, используя свой аккаунт Google.
В левом столбце выберите Инструменты, а затем нажмите Создать файл robots.txt.
Выберите настройки доступа для роботов по умолчанию Мы рекомендуем изначально разрешить доступ для всех роботов, а на следующем шаге заблокировать доступ для тех роботов, которым не нужно работать с содержанием вашего сайта. Это позволит предотвратить случайную блокировку доступа к вашему сайту для необходимых роботов поисковых систем.
Укажите дополнительные правила. Например, чтобы заблокировать сканирование всех файлов и каталогов вашего сайта роботом Googlebot, выполните следующие действия.
Выберите команду Запретить в списке Действие.
Выберите элемент Googlebot в списке Робот.
Введите / в поле Файлы и папки. Чтобы указать несколько файлов или папок, нажимайте клавишу ENTER в конце каждой строки и вводите каждый новый элемент в новой строке.
Нажмите Добавить. Код файла robots.txt для вашего сайта будет создан автоматически.
Сохраните созданный файл robots.txt, загрузив его или скопировав содержание файла в текстовый редактор и сохранив полученный файл с именем robots.txt. Сохраните файл в каталоге верхнего уровня своего сайта. Файл robots.txt должен располагаться в корневом каталоге домена и называться "robots.txt". Расположенный в подкаталоге файл robots.txt недействителен, поскольку роботы ищут этот файл только в корневом каталоге домена. Например, http://www.example.com/robots.txt - это действительное местоположение. А http://www.example.com/mysite/robots.txt - нет.
Вас может также заинтересовать...
Другие полезные статьи:
Как проверить файл robots.txt?
Как с помощью файла robots.txt управлять доступом к моему сайту?
Проверка файла robots.txt
Инструмент анализа robots.txt считывает этот файл так же, как это делает робот Googlebot. Если инструмент обнаруживает в строке синтаксическую ошибку, это означает, что робот Googlebot не распознает эту строку. Если инструмент принимает URL-адрес как допустимый, это значит, что робот Googlebot также считает этот адрес допустимым.
Этот инструмент предоставляет результаты только для роботов, в запросах которых в поле "user-agent" указано значение, соответствующее Google (например, для робота Googlebot). Другие роботы могут иначе интерпретировать файл robots.txt. Например, робот Googlebot поддерживает расширенное определение стандарта. Он распознает директивы "Allow:", а также некоторые типы соответствия шаблону. Поэтому, несмотря на то что инструмент показывает строки с такими расширениями в числе распознанных, нужно учитывать, что это, скорее всего, относится только к роботу Googlebot и не обязательно применимо к другим роботам, которые могут сканировать ваш сайт.
Если файл robots.txt находится в корневом каталоге хоста, инструмент показывает информацию, которой располагает Google об этом домене, в том числе следующие сведения.
Ссылка на используемый файл robots.txt на вашем сайте.
Время последней загрузки файла системой Google. Если после этого времени в файл были внесены изменения, в его кэшированной версии эти изменения отражены не будут.
Состояние файла. Ответ HTTP, полученный нами при попытке его загрузки. (Дополнительная информация о кодах статуса.) Если мы получаем ошибку 404 (файл не найден), это не свидетельствует о проблеме. Наличие файла robots.txt необязательно, но при его наличии роботы смогут сканировать все страницы на вашем сайте.
Тип MIME. Если файл не является текстовым, то его обработка невозможна.
Блокирует ли файл robots.txt доступ к главной странице сайта или к любому переданному файлу Sitemap.
Возникали ли у нас ошибки при разборе строк файла.
Чтобы провести анализ файла robots.txt сайта, выполните следующие действия.
Войдите в Инструменты Google для веб-мастеров, используя свой аккаунт Google.
На Панели инструментов выберите URL требуемого сайта.
Нажмите Инструменты, после чего выберите Анализ robots.txt.
Файл robots.txt должен располагаться в корневом каталоге домена и называться "robots.txt". Расположенный в подкаталоге файл robots.txt недействителен, поскольку роботы ищут этот файл только в корневом каталоге домена. Например, http://www.example.com/robots.txt - это действительное местоположение. А http://www.example.com/mysite/robots.txt нет. Если у вас нет доступа к корневому каталогу домена, вы можете ограничить доступ с помощью метатега robots.