Некорректная работа поисковика Cuil "убивает" сайты

image

Теги: Cuil, сайт, бот

Бот Twiceler, обходящий сайты "по заданию" Cuil, работает некорректно, в результате чего многие ресурсы "падают". "Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, - сообщил TechCrunch анонимный источник.

В распоряжении издания TechCrunch появились данные о том, что бот Twiceler, обходящий сайты "по заданию" Cuil, работает некорректно, в результате чего многие ресурсы "падают".

"Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, - сообщил TechCrunch анонимный источник. - Мы находимся в индексе Cuil двадцать четыре часа, и я был вынужден сократить пропуск трафика до двух пакетов в секунду, иначе сайтом невозможно пользоваться".

Дискуссии по поводу индексации сайтов ботом Cuil развернулись на форумах Admin Zone. Многие админы находят метод работы Twiceler некорректным.Они заявляют, что Twiceler действует как дилетант: поисковый бот беспорядочно бомбардирует сайт запросами, пытаясь проиндексировать страницы, на которые невозможно попасть по ссылкам, путем генерации псевдослучайных URL - действуя случайным образом (и увеличивая базу).

В Cuil заявляют, что бот - экспериментальный, постоянно модернизирующийся, и отмечают, что он не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации. Кроме того, часть инцидентов может быть не связана с Cuil, подчеркивают в компании.


или введите имя

CAPTCHA
Страницы: 1  2  
1
03-09-2008 11:16:24
Ну и нах оно надо если он даже порнухунайти не может?!
0 |
1
03-09-2008 14:24:35
Видимо, оно изначально разрабатывалось для уничтожения порносайтов...
0 |
1
03-09-2008 11:21:18
Админы действуют как дилетанты, если они не могут ограничить запросы даже от бота, который не пытается спрятаться. Что же будет с их сайтами, если на них начнется настоящий DOS?
0 |
1
03-09-2008 12:06:33
это и есть ддос просто регишь там какую-нить страницу и она ее досит
0 |
1
04-09-2008 11:24:10
а я вообще баню все поисковики днем, а ночью пусть шарятся себе, а то от поисковиков нагрузка ровно в 10 раз на сервер больше чем от просто пользователей
0 |
1
03-09-2008 12:27:24
Смотря какой трафик поступает на сервак. Обычно при небольшом количестве запросов помогает mod_evasive для Apache, а если тупо закидывают сайт пакетами, то тут уже без помощи провайдера хрен чё сделаешь.
0 |
03-09-2008 12:18:54
Ух-ты, он-лайновый ДДОС сервис открылся =).
0 |
1
03-09-2008 13:06:53
был вынужден сократить пропуск трафика до двух пакетов в секундулох З.Ы. имхо, статья - заказной чорный пиар все в общих словах, никакой конкретики приведенная цитата ваще достойна баша короч, кг/ам
0 |
03-09-2008 18:57:24
Мне достаточно посмотреть в логи своего сайта, чтобы подтвердить: статья полностью правдива, Twiceler - тупой бот, который по 20 раз доматывается до каждого файла, который получил с HTTP статусом 200, и кладет на robots.txt Гнуснее его только отечественное быдлоподелие WebAlta, которая еще свой UA и блоки IP пытается менять.
0 |
1
03-09-2008 14:12:27
А можно его на определенный сайт натравить? ))))))))))))))))))
0 |
1
03-09-2008 19:30:29
наверное можно. делаешь десяток своих сайтов со ссылками на целевой сайт и приглашаешь этого дятла к себе.
0 |
Страницы: 1  2