24 Мая, 2013

Чужие ссылки

InfoWatch
На днях кое-кто заподозрил неладное , заметив, что Скайп ходит по всем ссылкам, которые пользователи отправляют друг другу.

Вообще-то ходить по чужим ссылкам – практика весьма неоднозначная. Типа как заглядывать в чужие окна. Вроде, формального запрета нет, но цели – сомнительные.

Ссылка. Посещения запрещены.

Гиперссылки, передаваемые пользователями друг другу, автоматически проверяются не только в Скайпе. Этим занимаются многие антиспамовые и антивирусные системы, прикрученные к электронной почте, мессенджерам, чатам и другим средствам обмена сообщениями.

Содержимое страницы по ссылке наряду с самой ссылкой может характеризовать, спам ли это.

Ссылка на веб-страницу часто используется для заражения вредоносной программой (если браузер имеет уязвимость), поэтому содержимое веб-страницы будет нелишне проверить антивирусом, прежде чем отдавать ссылку пользователю.

Мы провели несложный эксперимент с целью проверить, кто ещёходит по чужим ссылкам. Нарочно созданные уникальные гиперссылки (вот такого вида: http://forensics.ru/2290022/e07.html ) были отправлены в составе текстового сообщения между пользователями следующих систем:
  • "Живой Журнал",
  • Mail.ru-агент,
  • "Вконтакте",
  • "Одноклассники",
  • "Фейсбук"
  • GoogleTalk.

Из отправленных шести ссылок "сработала" только одна:
173.252.101.119 - - [24/May/2013:10:57:50 +0000] "GET /2290022/e06.html HTTP/1.0" 200 506 "-" "facebookexternalhit/1.1 (+ http://www.facebook.com/externalhit_uatext.php )"
Указанный IP принадлежит Фейсбуку, а ссылка, которая в скобочках, объясняет, зачем робот читает веб-страницы – чтобы показать предварительную информацию тому юзеру, который получит сообщение.

С одной стороны, ходить по чужим ссылкам однозначно оправдано в двух упомянутых в начале случаях – для детектирования спама и вредоносных программ. С другой стороны, однозначно не следует этого делать для сбора информации о пользователях и для индексации веб-страниц (как это было в прошлогоднем скандале Яндекс-Мегафон).

Между этими двумя берегами лежит болото. Трудно понять, насколько этично смотреть чужие ссылки для иных целей. Трудно проверить, каковы действительные цели робота, отличаются ли они от декларируемых.