Некорректная работа поисковика Cuil "убивает" сайты

Некорректная работа поисковика Cuil "убивает" сайты

Бот Twiceler, обходящий сайты "по заданию" Cuil, работает некорректно, в результате чего многие ресурсы "падают". "Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, - сообщил TechCrunch анонимный источник.

В распоряжении издания TechCrunch появились данные о том, что бот Twiceler, обходящий сайты "по заданию" Cuil, работает некорректно, в результате чего многие ресурсы "падают".

"Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, - сообщил TechCrunch анонимный источник. - Мы находимся в индексе Cuil двадцать четыре часа, и я был вынужден сократить пропуск трафика до двух пакетов в секунду, иначе сайтом невозможно пользоваться".

Дискуссии по поводу индексации сайтов ботом Cuil развернулись на форумах Admin Zone. Многие админы находят метод работы Twiceler некорректным.Они заявляют, что Twiceler действует как дилетант: поисковый бот беспорядочно бомбардирует сайт запросами, пытаясь проиндексировать страницы, на которые невозможно попасть по ссылкам, путем генерации псевдослучайных URL - действуя случайным образом (и увеличивая базу).

В Cuil заявляют, что бот - экспериментальный, постоянно модернизирующийся, и отмечают, что он не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации. Кроме того, часть инцидентов может быть не связана с Cuil, подчеркивают в компании.


В нашем телеграм канале мы рассказываем о главных новостях из мира IT, актуальных угрозах и событиях, которые оказывают влияние на обороноспособность стран, бизнес глобальных корпораций и безопасность пользователей по всему миру. Узнай первым как выжить в цифровом кошмаре!