27.01.2009

Сравнительный анализ сканеров безопасности. Часть 1: тест на проникновение. Дополнение (краткое резюме)

Отчет «Сравнение сканеров безопасности. Часть 1. Тест на проникновение», в котором представлены результаты независимого исследования различных систем контроля защищённости, дополнен новыми материалами об исследовании сканера безопасности McAfee Vulnerability Manager.

Лепихин Владимир Борисович
Заведующий лабораторией сетевой безопасности Учебного центра «Информзащита»

Все материалы отчета являются объектами интеллектуальной собственности учебного центра «Информзащита». Тиражирование, публикация или репродукция материалов отчета в любой форме запрещены без предварительного письменного согласия Учебного центра «Информзащита».

Полный текст исследования:
http://www.itsecurity.ru/news/reliase/2009/01_26_09.htm

 

Введение

Тема сравнения сканеров, затронутая в публикации «Сравнительный анализ сканеров безопасности. Часть 1. Тест на проникновение», по ряду причин получила некоторое продолжение. «На горизонте» возник ещё один сетевой сканер безопасности: McAfee Vulnerability Manager, протестированный по просьбе вендора.

Компания McAfee, Inc. была основана в 1989 г. В период с 1997 по 2004 гг. компания работала на рынке под именем Network Associates, Inc. В рамках стратегии McAfee® Security Risk Management™ компания разрабатывает три семейства решений — McAfee® System Protection Solutions (средства безопасности для настольных систем и серверов), McAfee ® Network Security Solutions (средства безопасности для корпоративных сетей) и McAfee ® Risk and Compliance Management Solutions (средства консолидации данных об уязвимостях, угрозах и конфигурациях).

McAfee Vulnerability Manager - решение по мониторингу уязвимостей и некорректных конфигураций систем, подключенных к корпоративной сети. На данный момент этот сканер содержит порядка 8 тысяч проверок платформ Windows, Unix, IOS, и других.
В целях снижения трудоёмкости исследования было решено сравнить данный продукт только с лидерами предыдущего теста: сканерами MaxPatrol и Nessus. Таким образом, в данном документе представлены результаты сравнения трёх сетевых сканеров безопасности:

  • Nessus Security Scanner
  • MaxPatrol (модуль Pentest)
  • McAfee Vulnerability Manager

В ходе сравнения были использованы те же условия и методика, за исключением следующих моментов:

  1. Версии перечисленных сканеров были обновлены до состояния «середина декабря 2008 года»
  2. Сканирование проводилось силами «вендоров», т. е. с разных источников (При обработке результатов было учтено влияние фильтрации трафика, все сервисы были «приведены к общему знаменателю»).

В качестве объектов сканирования были выбраны 7 узлов сетевого периметра. Поскольку результаты сканеров Nessus и MaxPatrol (модуль Pentest) были подробно прокомментированы в указанном выше документе, приведённые ниже комментарии касаются в основном сканера McAfee Vulnerability Manager.

Обработка результатов

Как и в предыдущем случае, отдельно оценивалась идентификация сервисов и приложений, отдельно - идентификация уязвимостей. В полной версии документа представлены результаты по всем семи узлам.

Подведение итогов

Итоговые показатели представлены в следующей таблице 10. Далее эти показатели прокомментированы отдельно.

Таблица 1. Итоговые показатели по всем узлам

Показатель

MaxPatrol (модуль Pentest)

McAfee

Nessus

Идентификация сервисов и приложений, баллы

36

29

36

Найдено уязвимостей, всего

137

35

49

Из них ложных срабатываний
(false positives)

13

5

3

Найдено правильно
(из 159 возможных)

124

30

46

Пропуски
(false negatives)

35

129

113

Из них по причине отсутствия в базе

33

65

42

Из них вызванные необходимостью аутентификации

0

30

28

По другим причинам

2

34

43

 

Идентификация сервисов и приложений

По результатам определения сервисов и приложений баллы были просто просуммированы, при этом за ошибочное определение сервиса или приложения вычитался один балл (рис. 2). Результаты сканеров Nessus и MaxPatrol в итоге получились одинаковыми, сканер McAfee немного «отстал» из-за ошибок, допущенных при идентификации сервисов узла 1.

Рис. 1. Результаты идентификации сервисов и приложений
Рис. 1. Результаты идентификации сервисов и приложений

Идентификация уязвимостей

На рис. 3 представлено общее число найденных всеми сканерами уязвимостей и число ложных срабатываний. Наибольшее число уязвимостей было найдено сканером MaxPatrol. Вторым (со значительным отрывом) опять оказался Nessus. Сканер McAfee показал третий результат.

Рис. 2. Найденные уязвимости и ложные срабатывания
Рис. 2. Найденные уязвимости и ложные срабатывания

Число ложных срабатываний получилось наименьшим у сканера Nessus, наибольшим – у MaxPatrol.

На рисунке 3 представлено число уязвимостей найденных правильно из 159 возможных и соответствующее число пропусков.

Рис. 3. Найденные уязвимости и пропуски
Рис. 3. Найденные уязвимости и пропуски

Рисунок 4 иллюстрирует причины пропусков. Из него, например, видно, что большая часть пропусков уязвимостей сканерами Nessus и McAfee обусловлена либо отсутствием проверки в базе, либо необходимостью аутентификации.

Рис. 4. Причины пропусков уязвимостей
Рис. 4. Причины пропусков уязвимостей

Заключение

Как уже говорилось выше, главная цель данного документа – оценка возможностей сканера McAfee Vulnerability Manager в сравнении с MaxPatrol (модуль Pentest) и Nessus. На основе результатов сканирования представленных в отчёте семи узлов можно сделать следующие выводы:

  1. Идентификация сервисов и приложений в сканере McAfee Vulnerability Manager реализована достаточно качественно, хотя и хуже чем у Nessus и MaxPatrol.
  2. Число ложных срабатываний McAfee Vulnerability Manager относительно невелико. В данном случае он показал второй результат.
  3. База проверок McAfee Vulnerability Manager не совсем адекватна данной задаче. Видно, что значительная часть пропусков обусловлена необходимостью аутентификации или отсутствием проверки в базе сканера. Прослеживается явная ориентированность данного сканера на работу в режиме аудита (сканирование с использованием учётной записи).
  4. В сканере McAfee Vulnerability Manager довольно слабый «движок» анализа web-приложений в части «контента».
  5. Имеются явные проблемы с механизмом подбора паролей у McAfee Vulnerability Manager.
  6. MaxPatrol лишний раз подтвердил свое лидерство в текущей ситуации на рынке продуктов управления уязвимостями.
  7. Довольно неплохие результаты показал сканер Nessus.

Следует заметить также, что было протестировано небольшое число прикладных сервисов (SNMP, Telnet, SSH, MySQL, почта с Web-интерфейсом, HTTP/HTTPS) с явным преобладанием НТТР-служб. Если оценивать результат сканера McAfee Vulnerability Manager отдельно по этим сервисам, то хороший результат получился для сервиса MySQL, чуть хуже – для HTTP (уязвимости приложений Apache, SQUID), результаты по остальным сервисам получились хуже.

или введите имя

CAPTCHA
42168
28-01-2009 04:20:30
Наибольшее число уязвимостей было найдено сканером MaxPatrolНе верю Сервис ? порт 443 / tcp Информация Сервис не определен. Имя сервиса устанавливаемого на этом порту по умолчанию : https #0 #14 @Ч+–¬щ°И' #0 #0 #0 #0 #0
0 |
28-01-2009 08:01:12
443 / tcp ... Сервис не определен. Это MaxPatrol такое выдал? Какой сборки? На каком движке SSL? В тех. поддержку обращались?
0 |
03-02-2009 10:14:37
Не знаю, не знаю...но я сам проводил тестирование для интереса.Т естировал MaxPatrol(demo) и Nessus 3.2.1.1. Сканил windows 2003 standart +IIS. Результат: MaxPatrol(demo) находит уязвимость Cumulative Security Update for Internet Explorer (922760) , а Nessus нет(( ,хотя в базе у Nessusа эта уязвимость присуствует.
0 |
mol4un
28-01-2009 09:43:22
читал эту статью месяц назад... имхо, реклама одного единственного канера МаксПатрол, да еще и в обрезаном виде предоставили тут
0 |
vehn
28-01-2009 11:00:04
Ну а как вы хотели. Этот Лепихин В.Б. и производители maxptrol - суть одна и тажа контора ..рука руку греет. Эти нынешнии сравнения ещё ничего, вы почитайте что и как они года два тому назад "тестировали", вот там действительно о-ла-ла, кстати работа таки не была доведена до конца в прошлый раз, видать рекламный пыл поостыл
0 |
хех
28-01-2009 11:13:21
Таки действительно - жидомассонский заговор? Этот Лепихин В.Б. и производители maxptrol - суть одна и тажа контора Информзащита куплена Позитехом? Круто. вы почитайте что и как они года два тому назад "тестировали" А где ссылка? Кстати, написано, что McAfee Vulnerability Manager, протестированный по просьбе вендора Может и "вендора" Positive Technologies купил ? Что в мире происходит...
0 |
02-02-2009 11:48:37
Ну просто PT делает действительно качественный продукт, он и в тесте 2003 года был хорош. Есть какие-то объективные причины по которым один и тот же продукт стабильно занимает первое место. Что делать несчастному автору, в ситуации когда одна и та же компания стабильно делает свою работу хорошо? Фальсифицировать данные, чтобы картина "выглядела объективно"? Представьте некоторый региональный рынок на котором есть только ВАЗ, ГАЗ, УАЗ и Toyota. Как прикажете автомобильному журналу тесты писать? Я ток понимаю, что для объективности автор тестов должен кости бросать, а потом на их основе уже статью писать. Не надо думать, что продукты PT лишены недостатков. Коллеги ругаются на крайне неудачную схему создания отчётов в XSpider: отчёт об обнаруженном ПО выдаётся в форме XML, и для того, чтобы узнать какое новое ПО появилось на хосте за последнюю неделю, надо скрипт писать самому, который эти XML будет парсить. Но это про 7-й XSpider говорю, в 8-м MaxPatrol ситуация возможно изменилась, не знаю. В тому же это не тема данной работы. Интересно было бы выслушать мнение Сергея Гордейчика и Владимира Лепихина о том, что же это за таинственная причина, по которой ISS, McAfee etc. стабильно делают низкокачественный продукт. Мне в голову приходит только одна причина: Отсутствие реальной конкуренции на рынке. Например, Pen-test требуется нормативными документами, зарубежные компании проводят его низкокачественными продуктами, и плевать им на качество, главное что они соответсвуют требованиям нормативных документов: галочка стоит, меры приняты. В России, я уверен, ситуация именно так и выглядит. Не удивлюсь, если в забугорье она выглядит так же или похоже. В этой ситуации конкуренция осуществляется организационными мерами (лобби) или путём раскрутки бренда в смежной области (они делают хорошие танковые прицелы, значит и Pen-test проведут неплохо).
0 |
02-02-2009 11:54:34
Коллеги! Статья размещена на сайте, который принадлежит компании Positive Technologies (разработчик МаксПатрол). Было бы очень странно, если результаты данного "объективного" анализа указывали на преимущества Nessus или McAfee.
0 |
02-02-2009 13:50:43
Статья размещена на сайте УЦ Информзащита. На Seclab, а также у CNews - только перепечатка. Не вижу в этом ничего странного.
0 |
28-01-2009 11:11:24
Не уверен, что результаты можно принять за какую-то константу... Хорошо зная Nessus, могу сказать что даже достаточно опытному его пользователю требуется достаточно большое время для настройки под конкретную среду. И то результат не будет гарантирован. Что касается сервисов с авторизацией - тут все вообще мутно. Кол-во найденых дыр может отличаться на порядки. Ну и относительно фалс-позитивов. Большинство сканеров (макспатрол как?) увидев на 25 порту баннер "sendmail 8.9.х" немедленно рапортуют о эксплоите в данной версии не потрудившись проверить даже не то, действительно ли там сендмыл, но даже и применима ли эта уязвимость к данной ос вообще.
0 |
28-01-2009 11:24:13
Хорошо зная Nessus, могу сказать что даже достаточно опытному его пользователю требуется достаточно большое время для настройки под конкретную среду. И то результат не будет гарантирован. Это плюс или минус ? Настройки сканеров описаны в первой части. Что касается сервисов с авторизацией - тут все вообще мутно. Кол-во найденых дыр может отличаться на порядки. Конечно. Но это тест сканеров в режиме Pentest, т.е. без авторизации. Дойдут ли руки у Информзашиты до следующих этапов (audit, pci dss, compliance), не знаю. По нашим оценка (а мы подобное делаем постоянно, в рамках внутренних исследований), трудозатраты серьезные. Ну и относительно фалс-позитивов.Что касается сервисов с авторизацией - тут все вообще мутно. Кол-во найденых дыр может отличаться на порядки. Здесь в pentest все сложно. Например в этом сравнении MaxPatrol был серьезно "оштрафован" за SSH на Solaris, где он выдал много фэлсов. Общего решения нет, есть частные: 1. Точная идентификация версии по доп. признакам (не везде, не всегда, не на всех сервисах) 2. Привязка к патчлевелу и типу ОС. Тоже не всегда. Более того, ОС надо детектить для каждого сервиса, поскольку на периметре "гибридные" узлы очень распространены. 3. Коррекция версии сервиса по результатам точных проверок типа "exploit". В MaxPatrol мы реализуем 1 и 3, работаем над 2. Но опять таки, не всегда, не везде. Сергей Гордейчик
0 |
28-01-2009 17:39:23
Спасибо за объяснение, Сергей! Мое мнение (из опыта нескольких десятков аудитов и сопутствующих трудозатрат на них) - авторизация уже весьма сильно зависима от среды (как правило). И, пожалуй, Вы правы что это "уже совсем другая история". Есть, впрочем, несколько сервисов где ее все-таки нужно проверять (в основном веб), но для взлома "напролом" и ботами эти проверки не критичны. По позитивам. ИМХО третий способ самый лучший, т.к. менее всего затратный (визуально, по крайней мере). Нашли версию, попробовали соответствующий эксплоит (не деструктивный, разумеется ), проверили результат - да или нет. Дальше по желанию расставили приоритеты алертам на да/нет. Тогда на первом и втором решении можно особо не заморачиваться.
0 |
29-01-2009 08:50:38
Есть, впрочем, несколько сервисов где ее все-таки нужно проверять (в основном веб), Проверять авторизацию или проверять сервис "с авторизацией"? В любом случае, и то и другое умеет любая современная система. В MaxPatrol мы даже разделили авторизацию для Pentest и Audit: Картинка ИМХО третий способ самый лучший, т.к. менее всего затратный Это самый "дорогой" способ. Посмотрите на базы уязвимостей, на тот же Seclab, milw0rm, на популярные exploit-framework типа metasploit, canvas, core impact. Основное их наполнение - это Web-уязвимости и Client-side. Детали нормальных серверных уязвимостей публикуются гораздо реже. Есть конечно исключение, это Micorost, с которым все проще. Но проработать и написать экплойт для server-side уязвимости в Apache, которых на самом деле огромное количество, которые могут работать на разных системах, которые могут собираться из исходников или ставится из пакетов... А сделать безопасную проверку можно далеко не для каждой уязвимости. Так что этот способ требует больших затрат весьма квалифицированных людей, которых мало. ЗЫ. Если вы знаете где такие люди есть, мы готовы предложить им увлекательную постоянную или сдельную работу
0 |
02-02-2009 18:55:03
Я сегодня сам проводил тестирование.Тестировал MaxPatrol(demo) и Nessus 3.2.1.1. Сканил windows 2003 standart +IIS. Результат: MaxPatrol(demo) находит уязвимость Cumulative Security Update for Internet Explorer (922760) , а Nessus нет(( ,хотя в базе у Nessusа эта уязвимость присуствует.
0 |
02-02-2009 22:09:13
А где взять MaxPatrol(demo)????
0 |
03-02-2009 10:13:34
http://www.ptsecurity.com/tb_demo.asp
0 |
03-02-2009 13:30:05
Боюсь, что произошла ошибка. MaxPatrol 7, ссылка на который здесь присутствует, - это английский вариант XSpider. Он имеет мало общего с MaxPatrol, участвовавшем в тесте.
0 |