Google [Bot]и Rambler [bot] просматривают закрытые разделы.

[Денис Тихомиров]

Rambler [bot] тоже смотрит Флейм.

[Юго-Западный Ветер]

Yahoo [bot] заходит в чат!

[Денис Тихомиров]

Гугл просматривает закрытые разделы. Врядли по внешним ссылкам, в сортировку ссылок нет, а в Правила..... могут быть. Но совпасть не могло - за полчаса в обоих разделах побывал.

[Денис Тихомиров]

Вот пожалусто подтверждение индексации страницы из закрытого ботам раздела Админка.... Наберите в Гугле шизофрения таргетинг
Плохо, - резбавляет ключевые слова всего сайта в целом. Кэш 18 июн. Внешних ссылок на страницу нет нигде.

[Денис Тихомиров]

А яндекс лезет но кэширует и индексирует страницу с отказом в авторизации: по запросу шизофрения взаимопомощь на втором месте подфорум ссылки...: а вот в кэше отказ: http://hghltd.yandex.net/yandbtm?url=ht ... 3lC8q5wq0m

[Денис Тихомиров]

Google [Bot] полез в Поиск по форумам, возможно что не по меню, а где то кто то ссылку на поиск в сообщении разместил.

[шизофреник1]

Можно с помощью мета тагов запретить индексацию или даже лучше с помощью файла robots.txt

[Денис Тихомиров]

Это случалось редко. У них нет права просмотра этих разделов. А то что запрещено robots.txt - они всё равно видят, и Гугл приводит некоторые страницы в вебМастерской как примеры. Может ещё со внешних ссылок залетают но кэшируют страницу "у Вас нет прав для просмотра этого форума" (типа - авторизируйтесь!). Были даже случаи индексации таких страниц.

[Пепелацъ]

.... А то что запрещено robots.txt - они всё равно видят

Ваще-то странно, что роботы видят, не должны вроде залезать куда не попадя. Тем более - в закрытые разделы с авторизацией. Вот есть инфа, если интересно:

Робот проверяет наличие robots.txt. Если файл найден, робот анализирует его, чтобы определить, может ли документ быть запрошен. Вы можете указать в файле robots.txt применение только конкретных роботов и запретить доступ к определённым файлам или директориям.

Вот примеры из файла robots.txt, запрещающего роботу посещение всего сайта:

User-agent: * # применимо ко всем роботам
Disallow: / # запрещает индексирование всех страниц

Disallow: /help # запрещает доступ и к /help.html , и к /help/index.html, в то время, как
Disallow: /help/ # запрещает доступ к /help/index.html но разрешает к /help.html.
Пустое значение параметра "Disallow" означает, что все URI могут быть запрошены. По меньшей мере одно поле " Disallow" должно присутствовать в файле robots.txt.

В этом примере робот не должен ни индексировать документ, ни анализировать его на ссылки:
<META name="ROBOTS" content="NOINDEX, NOFOLLOW">
(content="ALL | INDEX | NOFOLLOW | NOINDEX")