http://securitylab.ru/robots.txt

http://securitylab.ru/robots.txt

melkov

Guest

Это нравится:0 Да/0 Нет

10.06.2004 19:14:40

Господа, вы недавно запретили индексацию своего сайта Яндексом 8-)

Код
User-agent: * Disallow: /_Services/ Disallow: /_HTTP_Errors/ User-agent: yandex Disallow: * Host: SecurityLab.ru Host: SecurityFocus.ru Host: www.SecurityFocus.ru Host: SecLab.ru Host: www.SecLab.ru

Вообще-то "Disallow: *" на самом деле работает - как "Disallow: /".

Гиг Guest	#2 Это нравится:0 Да/0 Нет 10.06.2004 20:41:51 Как ни странно, это сделано по просьбе яндекса. Иначе их глупый робот не распознает сайты www.SecurityLab.ru и SecurityLab.ru. А так сайт www.SecurityLab.ru разрешен для индексирования.

Pig killer Administrator Сообщений: 3843 Баллов: 3870 Регистрация: 10.12.2001	#3 Это нравится:0 Да/0 Нет 10.06.2004 20:58:52 Вот письмо от яндекса: Добрый день, Александр! Проблема, как нам удалось выяснить, в том, что наш робот-зеркальщик по каким-то непонятным причинам не может определить, что адреса www.SecurityLab.ru и SecurityLab.ru являются синонимами, что собственно отражается также и в поисковой машине -- сайт индексируется по обоим адресам: http://www.yandex.ru/yandsearch?serverurl=www.securitylab.ru http://www.yandex.ru/yandsearch?serverurl=securitylab.ru Слить индексы (и объединить сайты) вручную нельзя, это полностью автоматический процесс. Думаю, проблему можно попробовать решить при помощи файла robots.txt, см. http://www.yandex.ru/info/webmaster2.html#robots - укажите нашему роботу какой именно адрес является главным для индексации. С уважением, Александр Служба поддержки ----------------------- www.yandex.ru ----------------------- Хочешь быть мудрым? Не желай всего, что видишь; не верь всему, что слышишь; не говори всего, что знаешь; не делай всего, что умеешь, а только то, что полезно.

Читают тему