Google [Bot]и Rambler [bot] просматривают закрытые разделы.

[Денис Тихомиров]

и т.д. Все разделы закрытые для ботов как то умудряется просматривать, и темы в них. Кто что делал? Это разбавит содержание и релевантность.
Ссылок вроде нет туда. Как? ?

[Денис Тихомиров]

Просмотры видны по модулю Кто сейчас на форуме и внизу тем. Кешированных копий пока не видел, да бот там и не задерживаеться, и только сейчас стал туда соваться.
И ГуглБот "сегодня" во второй половине дня очень активен здесь.

[Mirror]

Я ничего не делал

[Денис Тихомиров]

Rambler [bot] тоже смотрит Флейм.

[Юго-Западный Ветер]

Yahoo [bot] заходит в чат!

[Денис Тихомиров]

Гугл просматривает закрытые разделы. Врядли по внешним ссылкам, в сортировку ссылок нет, а в Правила..... могут быть. Но совпасть не могло - за полчаса в обоих разделах побывал.

[Денис Тихомиров]

Вот пожалусто подтверждение индексации страницы из закрытого ботам раздела Админка.... Наберите в Гугле шизофрения таргетинг
Плохо, - резбавляет ключевые слова всего сайта в целом. Кэш 18 июн. Внешних ссылок на страницу нет нигде.

[Денис Тихомиров]

А яндекс лезет но кэширует и индексирует страницу с отказом в авторизации: по запросу шизофрения взаимопомощь на втором месте подфорум ссылки...: а вот в кэше отказ: http://hghltd.yandex.net/yandbtm?url=ht ... 3lC8q5wq0m

[Денис Тихомиров]

Google [Bot] полез в Поиск по форумам, возможно что не по меню, а где то кто то ссылку на поиск в сообщении разместил.

[шизофреник1]

Можно с помощью мета тагов запретить индексацию или даже лучше с помощью файла robots.txt