Вообще-то ходить по чужим ссылкам – практика весьма неоднозначная. Типа как заглядывать в чужие окна. Вроде, формального запрета нет, но цели – сомнительные.
 Ссылка. Посещения запрещены. |
Гиперссылки, передаваемые пользователями друг другу, автоматически проверяются не только в Скайпе. Этим занимаются многие антиспамовые и антивирусные системы, прикрученные к электронной почте, мессенджерам, чатам и другим средствам обмена сообщениями.
Содержимое страницы по ссылке наряду с самой ссылкой может характеризовать, спам ли это.
Ссылка на веб-страницу часто используется для заражения вредоносной программой (если браузер имеет уязвимость), поэтому содержимое веб-страницы будет нелишне проверить антивирусом, прежде чем отдавать ссылку пользователю.
Мы провели несложный эксперимент с целью проверить, кто ещёходит по чужим ссылкам. Нарочно созданные уникальные гиперссылки (вот такого вида: http://forensics.ru/2290022/e07.html ) были отправлены в составе текстового сообщения между пользователями следующих систем:
- "Живой Журнал",
- Mail.ru-агент,
- "Вконтакте",
- "Одноклассники",
- "Фейсбук"
- GoogleTalk.
Из отправленных шести ссылок "сработала" только одна:
173.252.101.119 - - [24/May/2013:10:57:50 +0000] "GET /2290022/e06.html HTTP/1.0" 200 506 "-" "facebookexternalhit/1.1 (+ http://www.facebook.com/externalhit_uatext.php )"Указанный IP принадлежит Фейсбуку, а ссылка, которая в скобочках, объясняет, зачем робот читает веб-страницы – чтобы показать предварительную информацию тому юзеру, который получит сообщение.
С одной стороны, ходить по чужим ссылкам однозначно оправдано в двух упомянутых в начале случаях – для детектирования спама и вредоносных программ. С другой стороны, однозначно не следует этого делать для сбора информации о пользователях и для индексации веб-страниц (как это было в прошлогоднем скандале Яндекс-Мегафон).
Между этими двумя берегами лежит болото. Трудно понять, насколько этично смотреть чужие ссылки для иных целей. Трудно проверить, каковы действительные цели робота, отличаются ли они от декларируемых.
