22.12.2008

Сравнительный анализ сканеров безопасности. Часть 1: тест на проникновение (краткое резюме)

В настоящем документе представлены результаты сравнения сетевых сканеров безопасности в ходе проведения тестов на проникновение в отношении узлов сетевого периметра.

Лепихин Владимир Борисович
Заведующий лабораторией сетевой безопасности Учебного центра «Информзащита»

Все материалы отчета являются объектами интеллектуальной собственности учебного центра «Информзащита». Тиражирование, публикация или репродукция материалов отчета в любой форме запрещены без предварительного письменного согласия Учебного центра «Информзащита».

Полный текст исследования:
http://www.itsecurity.ru/news/reliase/2008/12_22_08.htm




1. Введение

Сетевые сканеры безопасности подходят для сравнения как нельзя лучше. Они все очень разные. И в силу специфики задач, для решения которых они предназначены, и в силу их «двойного» назначения (сетевые сканеры безопасности могут быть использованы как для защиты, так и «для нападения», а взлом, как известно, задача творческая), наконец, ещё и потому, что за каждым таким инструментом стоит полёт «хакерской» (в изначальном смысле этого слова) мысли его создателя.

При выборе условий сравнения за основу был взят подход «от задач», таким образом, по результатам можно судить, насколько тот или иной инструмент пригоден для решения поставленной перед ним задачи. Например, сетевые сканеры безопасности могут быть использованы:

  • для инвентаризации сетевых ресурсов;
  • в ходе проведения «тестов на проникновение»;
  • в процессе проверки систем на соответствие различным требованиям.

В настоящем документе представлены результаты сравнения сетевых сканеров безопасности в ходе проведения тестов на проникновение в отношении узлов сетевого периметра. При этом оценивались:

  • Количество найденных уязвимостей
  • Число ложных срабатываний (False Positives)
  • Число пропусков (False Negatives)
  • Причины пропусков
  • Полнота базы проверок (в контексте данной задачи)
  • Качество механизмов инвентаризации и определения версий ПО
  • Точность работы сканера (в контексте данной задачи)

Перечисленные критерии в совокупности характеризуют «пригодность» сканера для решения поставленной перед ним задачи, в данном случае – это автоматизация рутинных действий в процессе контроля защищённости сетевого периметра.

2. Краткая характеристика участников сравнения

Перед началом сравнения усилиями портала Securitylab.ru был проведён опрос, целью которого был сбор данных об используемых сканерах и задачах, для которых они используются.

В опросе приняло участие около 500 респондентов (посетителей портала Securitylab.ru).

На вопрос об используемых сканерах безопасности в своих организациях, подавляющее большинство респондентов ответило, что они используют хотя бы один сканер безопасности (70%). При этом в организациях, практикующих регулярное применение сканеров безопасности для анализа защищенности своих информационных систем, предпочитают использовать более одного продукта данного класса. 49 % респондентов ответило, что в их организациях используется два и более сканера безопасности (Рис. 1).


1 . Распределение организаций опрошенных респондентов по числу используемых сканеров безопасности

Причины, по которым используется более одного сканера безопасности, заключаются в том, что организации относятся с недоверием к решениям одного «вендора» (61%), а также в тех случаях, когда требуется выполнение специализированных проверок (39%), которые не могут быть выполнены комплексным сканером безопасности (Рис. 2).

2 . Причины использования более одного сканера безопасности в организациях опрошенных респондентов

Отвечая на вопрос, для каких целей используются специализированные сканеры безопасности, большинство респондентов ответило, что они используются в качестве дополнительных инструментов анализа защищенности Web-приложений (68%). На втором месте, оказались специализированные сканеры безопасности СУБД (30%), а на третьем (2%) утилиты собственной разработки для решения специфического круга задач по анализу защищенности информационных систем (Рис. 3).


3 . Цели применения специализированных сканеров безопасности в организациях опрошенных респондентов

Результат опроса респондентов (рис. 4) о конечных продуктах, имеющих отношение к сканерам безопасности, показал, что большинство организаций предпочитают использовать продукт Positive Technologies XSpider (31%) и Nessus Security Scanner (17%).


Рис. 4. Используемые сканеры безопасности в организациях опрошенных респондентов

Для участия в тестовых испытаниях были отобраны сканеры, представленные в таблице 1.

Таблица 1. Сетевые сканеры безопасности, использованные в ходе сравнения

Название

Версия

Ссылка

Nessus

3.2.1

http://www.nessus.org/download

MaxPatrol

8.0 (Сборка 1178)

http://www.ptsecurity.ru/maxpatrol.asp

Internet Scanner

7.2.58

http://www-935.ibm.com/services/us/index.wss/offering/iss/a1027208

Retina Network Security Scanner

5.10.2.1389

http://www.eeye.com/html/products/retina/index.html

Shadow Security Scanner (SSS)

7.141 (Build 262)

http://www.safety-lab.com/en/products/securityscanner.htm

NetClarity Auditor

6.1

http://netclarity.com/branch-nacwall.html

Итак, первый тест сфокусирован на задаче оценки защищённости систем на устойчивость к взлому.

3. Подведение итогов

Аналогичным образом были посчитаны результаты по остальным узлам. После подсчёта итогов получилась следующая таблица (табл. 2).

Таблица 2. Итоговые результаты по всем объектам сканирования

Показатель

MaxPatrol

Internet Scanner

Retina

Nessus

Shadow Security Scanner

NetClarity
Auditor

Идентификация сервисов и приложений, баллы

108

66

80

98

79

54

Найдено уязвимостей, всего

163

51

38

81

69

57

Из них ложных срабатываний
(false positives)

8

3

4

7

36

14

Найдено правильно
(из 225 возможных)

155

48

34

74

33

43

Пропуски
(false negatives)

70

177

191

151

192

182

Из них по причине отсутствия в базе

63

170

165

59

150

179

Из них вызванные необходимостью аутентификации

0

6

16

36

0

0

По другим причинам

7

1

10

56

42

3

3.1 Идентификация сервисов и приложений

По результатам определения сервисов и приложений баллы были просто просуммированы, при этом за ошибочное определение сервиса или приложения вычитался один балл (рис. 5).


Рис. 5. Результаты идентификации сервисов и приложений

Наибольшее количество баллов (108) набрал сканер MaxPatrol, чуть меньше (98) – сканер Nessus. Действительно, в этих двух сканерах процедура идентификации сервисов и приложений реализована очень качественно. Данный результат можно назвать вполне ожидаемым.

Далее идут Retina (80 баллов) и Shadow Security Scanner (79 баллов), они «не справились» с некоторыми трудными случаями идентификации сервисов и приложений.

Следующий результат – у сканеров Internet Scanner и NetClarity. Здесь можно упомянуть, что, например, Internet Scanner ориентируется на использование стандартных портов для приложений, этим во многом и объясняется его невысокий результат. Наконец, наихудшие показатели у сканера NetClarity. Хотя он неплохо справляется с идентификацией сервисов (всё-таки он основан на ядре Nessus 2.x), его общий низкий результат можно объяснить тем, что он идентифицировал не все открытые порты.

3.2 Идентификация уязвимостей

На рис. 6 представлено общее число найденных всеми сканерами уязвимостей и число ложных срабатываний. Наибольшее число уязвимостей было найдено сканером MaxPatrol. Вторым (правда, уже со значительным отрывом) опять оказался Nessus.
Лидером по количеству ложных срабатываний оказался сканер Shadow Security Scanner. В принципе, это объяснимо, выше были приведены примеры ошибок, связанные как раз с его проверками.


Рис. 6. Найденные уязвимости и ложные срабатывания

Всего на всех 16 узлах всеми сканерами было найдено (и впоследствии подверждено ручной проверкой) 225 уязвимостей. Результаты распределились так, как на рис. 7. Наибольшее число уязвимостей – 155 из 225 возможных – было выявлено сканером MaxPatrol. Вторым оказался сканер Nessus (его результат практически в два раза хуже). Следующим идёт сканер Internet Scanner, затем NetClarity.
В ходе сравнения были проанализированы причины пропусков уязвимостей и были отделены те, которые были сделаны по причине отсутствия проверок в базе. На следующей диаграмме (рис. 8) представлены причины пропусков уязвимостей сканерами.


Рис. 7. Найденные уязвимости и пропуски


Рис. 8. Причины пропусков уязвимостей

Теперь несколько показателей, получившихся в результате подсчётов.

На рис. 39 представлено отношение числа ложных срабатываний к общему числу найденных уязвимостей, этот показатель в определённом смысле можно назвать точностью работы сканера. Ведь пользователь, прежде всего, имеет дело с перечнем найденных сканером уязвимостей, из которого необходимо выделить найденные правильно.


Рис. 9. Точность работы сканеров

Из этой диаграммы видно, что наивысшая точность (95%) достигнута сканером MaxPatrol. Хотя число ложных срабатываний у него не самое низкое, такой показатель точности достигнут за счёт большого количества найденных уязвимостей. Следующим по точности определения идёт Internet Scanner. Он показал самое низкое число ложных срабатываний. Самый низкий результат у сканера SSS, что неудивительно при таком большом количестве ложных срабатываний, которое было замечено в ходе сравнения.

Ещё один расчётный показатель – это полнота базы (рис. 10). Он рассчитан как отношение числа уязвимостей, найденных правильно, к общему числу уязвимостей (в данном случае - 225) и характеризует масштабы «пропусков».


Рис. 10. Полнота базы

Из этой диаграммы видно, что база сканера MaxPatrol наиболее адекватна поставленной задаче.

4. Заключение

4.1 Комментарии к результатам лидеров: MaxPatrol и Nessus

Первое место по всем критериям данного сравнения достаётся сканеру MaxPatrol, на втором месте – сканер Nessus, результаты остальных сканеров существенно ниже.

Здесь уместно вспомнить один из документов, подготовленный национальным институтом стандартов и технологий США (NIST), а именно - «Guideline on Network Security Testing». В нём говорится, что в ходе контроля защищённости компьютерных систем рекомендуется использовать как минимум два сканера безопасности.

В полученном результате, по сути, нет ничего неожиданного и удивительного. Не секрет, что сканеры XSpider (MaxPatrol) и Nessus пользуются популярностью как среди специалистов по безопасности, так и среди «взломщиков». Это подтверждают и приведённые выше результаты опроса. Попробуем проанализировать причины явного лидерства MaxPatrol (частично это касается и сканера Nessus), а также причины «проигрыша» других сканеров. Прежде всего – это качественная идентификация сервисов и приложений. Проверки, основанные на выводах (а их в данном случае использовалось довольно много), сильно зависят от точности сбора информации. А идентификация сервисов и приложений в сканере MaxPatrol практически доведена до совершенства. Вот один показательный пример.
Вторая причина успеха MaxPatrol – полнота базы и её адекватность поставленной задаче и вообще «сегодняшнему дню». По результатам заметно, что база проверок в MaxPatrol значительно расширена и детализирована, в ней «наведён порядок», при этом явный «крен» в сторону web-приложений компенсируется и расширением проверок в других областях, например, произвели впечатление результаты сканирования представленного в сравнении маршрутизатора Cisco.

Третья причина – качественный анализ версий приложений с учётом операционных систем, дистрибутивов и различных «ответвлений». Можно также добавить и использование разных источников (базы уязвимостей, уведомления и бюллетени «вендоров»).

Наконец, можно ещё добавить, что MaxPatrol имеет очень удобный и логичный интерфейс, отражающий основные этапы работы сетевых сканеров безопасности. А это немаловажно. Связка «узел, сервис, уязвимость» очень удобна для восприятия (Прим. ред. это субъективное мнение автора сравнения). И особенно для данной задачи.

Теперь о недостатках и «слабых» местах. Поскольку MaxPatrol оказался лидером сравнения, то и критика в его адрес будет «максимальной».

Во-первых, так называемый «проигрыш в мелочах». Имея очень качественный движок, важно предложить и соответствующий дополнительный сервис, например, удобный инструментарий, позволяющий что-то сделать вручную, средства поиска уязвимостей, возможность «тонкой» настройки системы. MaxPatrol продолжает традицию XSpider и максимально ориентирован на идеологию «нажал и заработало». С одной стороны это неплохо, с другой стороны – ограничивает «дотошного» аналитика.

Во-вторых, остались «неохваченными» некоторые сервисы (можно судить об этом по результатам данного сравнения), например, IKE (порт 500).

В-третьих, в некоторых случаях не хватает элементарного сопоставления результатов двух проверок друг с другом, например, как в описанном выше случае с SSH. Т. е. нет выводов, основанных на результатах нескольких проверок. Например, операционная система узла host4 была определена как Windows, а «вендор» сервиса PPTP классифицирован как Linux. Можно сделать выводы? Например, в отчёте в области определения операционной системы указать, что это «гибридный» узел.

В-четвёртых, описание проверок оставляет желать лучшего. Но здесь следует понимать, что MaxPatrol находится в неравных условиях с другими сканерами: качественный перевод на русский язык всех описаний – очень трудоёмкая задача.

Сканер Nessus показал, в целом, неплохие результаты, а в ряде моментов он был точнее сканера MaxPatrol. Главная причина отставания Nessus – это пропуски уязвимостей, но не по причине отстуствия проверок в базе, как у большинства остальных сканеров, а в силу особенностей реализации. Во-первых (и этим обусловлена значительная часть пропусков), в сканере Nessus наметилась тенденция развития в сторону «локальных» или системных проверок, предполагающих подключение с учётной записью. Во-вторых, в сканере Nessus учтено меньше (в сравнении с MaxPatrol) источников информации об уязвимостях. Это чем-то похоже на сканер SSS, основанный по большей части на базе SecurityFocus.

5. Ограничения данного сравнения

В ходе сравнения были изучены возможности сканеров в контексте только одной задачи – тестирование узлов сетевого периметра на устойчивость к взлому. Например, если проводить автомобильную аналогию, мы увидели, как разные автомобили ведут себя, допустим, на скользкой дороге. Однако есть и другие задачи, решение которых этими же сканерами может выглядеть совершенно иначе. В ближайшее время планируется сделать сравнение сканеров в ходе решения таких задач, как:

  • Проведение аудита систем с использованием учётной записи
  • Оценка соответствия требованиям стандарта PCI DSS
  • Сканирование Windows-систем

Кроме того, планируется сделать сравнение сканеров и по формальным критериям.

В ходе данного сравнения был протестирован только сам «движок» или, выражаясь современным языком, «мозг» сканера. Возможности в плане дополнительного сервиса (отчёты, запись информации о ходе сканирования и т. п.) никак не оценивались и не сравнивались.

Также не оценивались степень опасности и возможности по эксплуатации найденных уязвимостей. Некоторые сканеры ограничились «незначительными» уязвимостями низкой степени риска, другие же выявили действительно критичные уязвимости, позволяющие получить доступ к системе.

или введите имя

CAPTCHA
Страницы: 1  2  
23-12-2008 08:54:04
Все материалы отчета являются объектами интеллектуальной собственности учебного центра «Информзащита». Тиражирование, публикация или репродукция материалов отчета в любой форме запрещены без предварительного письменного согласия Учебного центра «Информзащита».- А читать то хоть можно?
0 |
23-12-2008 09:18:32
МОжНО Если Вы не являетесь угрозой ИНТЕЛЛЕКТА зав.лаб. Лепихина В.Б.
0 |
23-12-2008 13:05:27
Гмм... А где GFI LanGuard NSS? Без него тест, ИМХО, неполный.
0 |
24-12-2008 10:18:26
Насколько мне известно, GFI был удален из результатов по просьбе вендора. Кроме того, проводился дополнительный тур с учетом Foundstone (MacAffe).Будут ли эти материалы опубликованы - не знаю.
0 |
26-12-2008 13:42:25
Насколько мне известно, произошло это из-за печальных результатов GFI. Печальные результаты многих сканеров, в т.ч. и MacAffe, связаны с постановкой задачи: сканеры учитывались как средства хакерской атаки, т.е. для теста на проникновение. Между тем как многие продукты расчитаны на подключение к анализируемому хосту и дальнейшие локальные проверки. (По принципу "вы прорежте нам дыру 7 на 12, а мы в неё заглядывать будем.) Это не хорошо и не плохо, просто они предназначены для решения других задач. Обо всём этом пишет и автор.
0 |
24-12-2008 09:27:02
Косяк: А идентификация сервисов и приложений в сканере MaxPatrol практически доведена до совершенства. Вот один показательный пример. Пример цензура не пропустила? Редактор ЖЖОТ: Связка «узел, сервис, уязвимость» очень удобна для восприятия (Прим. ред. это субъективное мнение автора сравнения) (прим. читателя: это субъективное мнение редактора) Так и представляю себе текст Толстого, испещрённый неравнодушным редактором: (Прим. ред: ну и козёл!). Как-то раз я читал какую-то переводную книжду по FreeBSD (кажется Таймена, а может и нет), там было написано: "по окончании работы fsck выводит информацию о степени фрагментированности дисковой системы, но вы никогда не увидите цифры более 5% (Прим. науч. ред. это, разумеется не так)". И вот хочешь стой, а хочешь -- падай. Я таки ни разу больше 5% не видел. Что имел ввиду научный редактор? Ну не нравится тебе книга, напиши свою. Или для начала научись ясно излагать свои мысли. В данном случае редактор чего хотел? Показать что он нашёл в тексте фразу, которую АСИЛИЛ? Лучше бы занялся делом: указал бы автору на выпавший кусок текста, например. Короче: редактор, это тот, кто статьи правит, а не комментирует. А комментируют в Тырнетах -- читатели.
0 |
24-12-2008 10:14:32
Указанные вами артефакты - последствия "урезания" текста оригинального исследования. http://www.itsecurity.ru/news/reliase/2008/12_22_08.htm Так, "примечание редактора" автоматом было вставлено программой ms word, а фраза "Вот один показательный пример. " просто "недорезанна". Спасибо за то, что указали на эти недостатки.
0 |
24-12-2008 10:50:47
Ха-ха! Надо отредактировать шаблон: пусть пишет "примечание ms word'а", в авторах у диаграмм: "создано на основе данных ms exel'я", а если учёный расчитает гамильтониан молекулы водорода, то пусто пишет: "по данным калькулятора citizen". В сводках мы уже сейчас читаем: "porsche cayenne совершил наезд на пешехода" (а его водитель, догадываемся мы, краснел, ёрзал за рулём и не знал куда деваться). Ладно, ладно, кончаю стебаться. Но самовставившееся примечание с оценкой автора, это что-то. Неужели мозг MS позволяет автоматически распознать субъективные высказывания? Всё-всё умолкаю.
0 |
24-12-2008 11:04:47
Текст "примечание редактора" - последствие word. Сам текст комментария - авторский (т.е. г-на Лепихина).
0 |
27-12-2008 01:34:06
у кого есть что ответить? это явно реакция на данную статью... 25.12.2008 Сканер сетевой безопасности Retina (Retina Network Security Scanner) компании eEye полностью соответствует требованиям стандарта защиты PCI DSS Rainbow Technologies - ведущий российский дистрибьютор систем информационной безопасности от всемирноизвестных производителей, сообщает о том, что cпециалисты крупной независимой экспертной компании NSS Labs провели тестирование сканера Retina от производителя eEye. Результат превзошел все ожидания. Стандарт защиты информации PCI DSS (Payment Cards Industry Data Security Standard) - это стандарт, описывающий необходимые меры безопасности для компаний, работающих в индустрии платежных карт. Стандарт PCI DSS является обязательным во всем мире, с 2007 года, в том числе и в России. Компании, хранящие, обрабатывающие и передающие данные о владельцах карт, должны ежегодно проходить проверку соответствия требованиям стандарта PCI DSS. Сканер Retina много раз признавался лучшим продуктом сетевой безопасности. Теперь, после успешного прохождения жесткого тестирования, сканер Retina стал единственным сертифицированным средством, имеющим возможность подтвердить соответствие всем 16 требованиям стандарта PCI DSS. <Мы создали наиболее исчерпывающие и трудные условия в тестовой лаборатории, - говорит Вик Фатак (Vik Phatak), генеральный директор NSS Labs, - и считаем, что eEye Retina Network Security Scanner - это полноценный сканер уязвимостей, который должен быть первым в списке кандидатов для применения в организациях, работающих в сфере электронной коммерции>.
0 |
27-12-2008 20:40:42
Смешно. Мне например не понятно как Retina, в которой отсутствует Web-engine как класс может проводить проверки в соответствии с pci dss где явно указаны такие вещи как sql injection и xss? >Retina стал единственным сертифицированным средством, Сертификации продуктов по PCI DSS нет. Платежные системы сертифицируются. Это пеарщики что-то перепутали. >всем 16 требованиям стандарта PCI DSS. Не совсем понял. В DSS 12 разделов, включая физическую безопасность. Откуда 16? Или это вместе с подпунтами? Так там их больше... >It is important to note that this test was designed to determine the viability of the vulnerability scanning product for internal use within payment card environments. Это цитата из отчета (http://www.nsslabs.com/test-reports/pci/NSS%20Labs%20-%20eEye%20Retina%20VA%20PCI.pdf). Т.е. для перемитрового сканирования PCI ASV продукт не тестировался.
0 |
28-12-2008 23:07:49
они тестировали всего 16 требований из около 160 требований. и выяснилось, что всем оттестированным 16 требованиями продукт соответствует
0 |
28-12-2008 23:03:03
Сейчас еще мало продуктов оттестировано на PCI: nsslabs.com/pci-suitability/index.php Тест на PCI для продукта означает, что если купить этот продукт себе, то у вас будет шанс соответствовать некоторым пунктам требований PCI. 16 пунктов это еще мало. Одна железка IBM Proventia Multi Function Security так вообще 117 пунктам PCI позволяет соответствовать сразу. Однако надо помнить, что нужно не просто купить, но еще правильно установить в сеть и настроить. такое ощущение, что приведенный текст просто не читали технические специалисты eEye. им просто нужно исправить ошибки переводческого агентства, которое никогда, как правило, не разбирается в ИБ, и поэтому все их переводы всегда нужно дорабатывать напильником.
0 |
Страницы: 1  2