Аномалии под контролем: всё о пользовательских правилах профилирования в PT NAD

Введение

В системе PT NAD, начиная с версии 12.0, появились Пользовательские Правила Профилирования (далее ППП).

Этот инструмент позволяет обучать правила на реальном сетевом трафике и формировать его профиль, а затем детектировать аномалии, выбивающиеся из этого профиля.

Более подробно с интерфейсом, настройками и администрированием системы поведенческого анализа сетевого трафика от Positive Technologies вы можете познакомиться в курсе PT NAD Getting Started.

С момента релиза механизм ППП не раз дорабатывался и совершенствовался.

В версии 12.4 (актуальной на момент написания статьи) появилась возможность при обучении разделять дневной и ночной трафик, что увеличивает точность обнаружения сетевых аномалий.

Мы протестировали работу ППП на нашем стенде в рамках различных сценариев и решили описать наш опыт и наши результаты в этой статье.

В нашем материале вы найдёте:

Непосредственно примеры самих правил и результаты их проверки
Пошаговую инструкцию по созданию ППП
Объяснение важных принципов работы механизма обучения
Ответы на некоторые вопросы, которые мы сами узнали в ходе написания данной статьи

Небольшая предыстория

Идея протестировать ППП родилась в наших головах достаточно давно, и в течение прошлого года мы сделали несколько подходов к данному снаряду. Но каждый раз мы сталкивались с суровой действительностью: правила просто не обучались, всплывали ошибки «Недостаточно узлов» или «Недостаточный объем данных». И как бы много трафика мы не генерировали на нашем стенде, проблема оставалась. 

В открытом доступе есть памятка от Positive Technologies и описание на справочном портале, но мы, к сожалению, не нашли там ответов на все наши вопросы. К примеру: «Какое минимальное количество узлов необходимо для обучения правила?», «На какое максимальное количество кластеров разбиваются узлы?», «Как обрабатываются узлы, трафика от которых вообще не было на момент обучения?». И на наш самый главный вопрос: «Почему у нас на стенде правила не обучаются?».

Со всеми этими и другими вопросами мы обратились к специалистам Positive Technologies и теперь делимся тем, что нам удалось выяснить, а также тем, что получилось сделать на нашем стенде.
Большое спасибо Кириллу Шипулину, руководителю группы обнаружения атак PT ESC, который нам очень сильно помог во всем этом разобраться.

Как все это работает

Начнём немного издалека. PT NAD относится к решениям класса NTA, и как любая порядочная NTA-система он обладает комплексом различных методов анализа сетевого трафика:

• сигнатурным
• поведенческим (в том числе с применением машинного обучения)
• статистическим

За последние два в продукте отвечают правила для активностей.

Есть правила для активностей «из коробки» от команды специалистов из экспертного центра PT ESC. Они периодически обновляются и дополняются.

Но есть также возможность самостоятельно создавать пользовательские правила для активностей. До версии 12.0 (и появления ППП) такие правила назывались «Уведомления по фильтру», и название это говорит само за себя.

На созданный фильтр можно «навесить» простое условие срабатывания: если количество сессий или объем трафика за определенный период больше/меньше некоторого значения, то в ленте активностей появляется соответствующее уведомление (также можно настроить отправку уведомлений по электронной почте).

Пример создания/настройки уведомления по фильтру:

Пример настроенного уведомления по фильтру:

Строго говоря, уведомления по фильтру тогда не относились к правилам для активностей, хотя по своей сути ими являлись, пусть и очень упрощенными.

С появлением ППП ситуация изменилась. Название «уведомления по фильтру» ушло, и появились пользовательские правила для активностей. Механизм создания этих правил остался тот же, но теперь появилась возможность настроить обучение правила — и вот из обычного пользовательского правила для активностей мы получаем ППП.

Механизм обучения помогает решать сразу несколько проблем, которые нельзя было решить уведомлениями по фильтру:

1. Автоматическое определение границ срабатывания правила. В уведомлениях по фильтру эти значения приходилось задавать вручную. Это требует дополнительного времени и компетенций от оператора. ППП же определяет эти границы автоматически на основе имеющегося трафика.
2. Раздельный подход. Уведомления по фильтру работают достаточно просто: считают количество сессий или объем трафика по фильтру и проверяют, был ли преодолен установленный порог. Они не учитывают разный уровень активности различных узлов, а смотрят на их суммарную активность.

Это ограничение можно обойти, создавая отдельные фильтры и правила для каждого отдельного узла. Но поддерживать сотни, тысячи, а то и десятки тысяч правил — сомнительное удовольствие. Все их можно заменить одним ППП, которое при обучении разбивает все узлы на кластеры (максимум — три кластера) согласно их сетевой активности. Для каждого кластера определяются свои пороги срабатывания, и затем они назначаются всем узлам в кластере. Таким образом, у каждого узла есть свои границы, и как только его сетевая активность за них выходит, то правило срабатывает.

А как создать правило и и многое другое вы можете узнать на нашем портале TS University! Там вы найдёте не только полную версию этой статьи, но и множество других полезных и интересных материалов.