Google [Bot]и Rambler [bot] просматривают закрытые разделы.
-
- Главный шизофреник
- Сообщения: 5602
- Зарегистрирован: 15.04.2008, 21:56
- Откуда: СПБ Городская психиатрическая больница № 3 им. И. И. Скворцова-Степанова подростковое отделение 1985
Rambler [bot] просматривает закрытые разделы. Флейм и.т.д.
Rambler [bot] тоже смотрит Флейм.
Убитый Нобелевский Лауреат
-
- Лечение общением
- Сообщения: 1044
- Зарегистрирован: 12.07.2008, 06:36
Re: Google [Bot]и Rambler [bot] просматривают закрытые разделы.
Yahoo [bot] заходит в чат!
-
- Главный шизофреник
- Сообщения: 5602
- Зарегистрирован: 15.04.2008, 21:56
- Откуда: СПБ Городская психиатрическая больница № 3 им. И. И. Скворцова-Степанова подростковое отделение 1985
Re: Google [Bot]и Rambler [bot] просматривают закрытые разделы.
Гугл просматривает закрытые разделы. Врядли по внешним ссылкам, в сортировку ссылок нет, а в Правила..... могут быть. Но совпасть не могло - за полчаса в обоих разделах побывал.
Убитый Нобелевский Лауреат
-
- Главный шизофреник
- Сообщения: 5602
- Зарегистрирован: 15.04.2008, 21:56
- Откуда: СПБ Городская психиатрическая больница № 3 им. И. И. Скворцова-Степанова подростковое отделение 1985
Re: Google [Bot]и Rambler [bot] просматривают закрытые разделы.
Вот пожалусто подтверждение индексации страницы из закрытого ботам раздела Админка.... Наберите в Гугле шизофрения таргетинг
Плохо, - резбавляет ключевые слова всего сайта в целом. Кэш 18 июн. Внешних ссылок на страницу нет нигде.
Плохо, - резбавляет ключевые слова всего сайта в целом. Кэш 18 июн. Внешних ссылок на страницу нет нигде.
Убитый Нобелевский Лауреат
-
- Главный шизофреник
- Сообщения: 5602
- Зарегистрирован: 15.04.2008, 21:56
- Откуда: СПБ Городская психиатрическая больница № 3 им. И. И. Скворцова-Степанова подростковое отделение 1985
Re: Google [Bot]и Rambler [bot] просматривают закрытые разделы.
А яндекс лезет но кэширует и индексирует страницу с отказом в авторизации: по запросу шизофрения взаимопомощь на втором месте подфорум ссылки...: а вот в кэше отказ: http://hghltd.yandex.net/yandbtm?url=ht ... 3lC8q5wq0m
Убитый Нобелевский Лауреат
-
- Главный шизофреник
- Сообщения: 5602
- Зарегистрирован: 15.04.2008, 21:56
- Откуда: СПБ Городская психиатрическая больница № 3 им. И. И. Скворцова-Степанова подростковое отделение 1985
Re: Google [Bot]и Rambler [bot] просматривают закрытые разделы.
Google [Bot] полез в Поиск по форумам, возможно что не по меню, а где то кто то ссылку на поиск в сообщении разместил.
Убитый Нобелевский Лауреат
-
- Лечение общением
- Сообщения: 1054
- Зарегистрирован: 18.05.2008, 16:11
- Откуда: Моршанск
Re: Google [Bot]и Rambler [bot] просматривают закрытые разде
Можно с помощью мета тагов запретить индексацию или даже лучше с помощью файла robots.txt
-
- Главный шизофреник
- Сообщения: 5602
- Зарегистрирован: 15.04.2008, 21:56
- Откуда: СПБ Городская психиатрическая больница № 3 им. И. И. Скворцова-Степанова подростковое отделение 1985
Re: Google [Bot]и Rambler [bot] просматривают закрытые разде
Это случалось редко. У них нет права просмотра этих разделов. А то что запрещено robots.txt - они всё равно видят, и Гугл приводит некоторые страницы в вебМастерской как примеры. Может ещё со внешних ссылок залетают но кэшируют страницу "у Вас нет прав для просмотра этого форума" (типа - авторизируйтесь!). Были даже случаи индексации таких страниц.
Убитый Нобелевский Лауреат
-
- Группа взаимопомощи
- Сообщения: 239
- Зарегистрирован: 23.03.2010, 13:39
- Откуда: Москва
Re: Google [Bot]и Rambler [bot] просматривают закрытые разде
Шизофрения писал(а):.... А то что запрещено robots.txt - они всё равно видят
Ваще-то странно, что роботы видят, не должны вроде залезать куда не попадя. Тем более - в закрытые разделы с авторизацией. Вот есть инфа, если интересно:
Робот проверяет наличие robots.txt. Если файл найден, робот анализирует его, чтобы определить, может ли документ быть запрошен. Вы можете указать в файле robots.txt применение только конкретных роботов и запретить доступ к определённым файлам или директориям.
Вот примеры из файла robots.txt, запрещающего роботу посещение всего сайта:
User-agent: * # применимо ко всем роботам
Disallow: / # запрещает индексирование всех страниц
Disallow: /help # запрещает доступ и к /help.html , и к /help/index.html, в то время, как
Disallow: /help/ # запрещает доступ к /help/index.html но разрешает к /help.html.
Пустое значение параметра "Disallow" означает, что все URI могут быть запрошены. По меньшей мере одно поле " Disallow" должно присутствовать в файле robots.txt.
В этом примере робот не должен ни индексировать документ, ни анализировать его на ссылки:
<META name="ROBOTS" content="NOINDEX, NOFOLLOW">
(content="ALL | INDEX | NOFOLLOW | NOINDEX")
Был мертв и ожил, и пропадал и нашелся.