Закон Гудхарта в кибербезопасности или почему мы идем, но не доходим
Закон Гудхарта в кибербезопасности или почему мы идем, но не доходим
Думаю, многие из вас если не знакомы с законом Гудхарта, то слышали его в переложении или сталкивались на практике с его проявлениями. Звучит он следующим образом:
Закон Гудхарта
Чарльз Гудхарт
"Когда мера становится целью, она перестает быть хорошей мерой".
Наблюдение Гудхарта базировалось на том, что любая мера, становящаяся целью, становится объектом манипуляций; как прямых (фальсификация чисел), так и косвенных (активность исключительно ради улучшения или достижения самой меры). Давайте возьмем конкретный пример. Вы поставили перед собой цель снизить число инцидентов ИБ и это стало вашим фетишем. Вместо того, чтобы выстраивать процессы и постепенно снижать общее число инцидентов, вы начинаете манипулировать этим показателем. Либо просто занизите значение перед показом руководству, либо исключите из области оценки какие-то системы (конечно, обосновав это перед собой) и тем самым снизите число инцидентов, либо просто пересмотрите понятие «инцидента». В любом случае, ваша деятельность становится излишне сфокусированной вокруг конкретного числа, а не ради реального снижения числа инцидентов (пусть и не такого быстрого, как вам того хотелось бы).
Я раньше старался писать в блог ежедневно и это в какой-то момент времени превратилось в самоцель. Я мог даже что-то из пальца высосать, чтобы соблюсти правило «ни дня без заметки». Сейчас в блоге я уже пишу только когда приспичит и есть какой-то длинный текст, который хочется сохранить на подольше; в отличие от коротких постов в Телеге (там иногда закон Гудхарта у меня проявляется 🙁 ).
Другой пример, связанный с косвенными манипуляциями. Вы начинаете оценивать специалистов первой линии SOC по числу закрытых инцидентов. Они не могут напрямую манипулировать этим числом, так как у вас процесс открытия тикетов и назначения их аналитикам автоматизирован. Тогда они могут закрывать тикеты сразу после того, как получили их в работу. Тем самым у вас сокращается время на обработку инцидента и их число на одного аналитика увеличивается. Вы начинаете оценивать аналитиков по времени, которое они затрачивают на работу с инцидентами и начинается другая проблема — они сидят, смотря в потолок, курят и ничего не делают, а часики тикают. Тогда вы решаете оценивать аналитиков по тому, сколько они реально закрыли инцидентов. В этом случае специалисты первой линии пытаются все инциденты разрулить самостоятельно, даже если не обладают нужными компетенциями и не передают их на 2-ю линию. Обратите внимание, во всех случаях аналитики занимаются не тем, чтобы сделать работу SOC эффективней, а число инцидентов меньше, а тем, чтобы достичь наилучших показателей, по которым их оценивают.
Или возьмем реальную ситуацию, с которой мне довелось столкнуться во время аудита одного из SOCов, в котором (он был достаточно большим) существовали разные команды — и традиционных аналитиков L1, которых оценивали по числу классифицированных (нет же слова «оттриаженных»?) сигналов тревоги, и аналитиков Threat Intelligence, которых оценивали по числу новых детектов, которые они привносили в SOC (это могли быть новые правила корреляции в SIEM, новые сигнатуры для IDS, новые YARA-правила для EDR и т.п.). И вот в процессе анализа того, как работают эти группы вместе выяснилось, что аналитики L1 тупо специфически принимали в работу новые детекты, не задумываясь (или не желая задумываться) об их эффективности. Их ведь оценивали по другому показателю и поэтому они принимали все детекты, которые приводили к появлению большого числа событий, легко маркируемых как ложные срабатывания (число классифицированных событий росло). А вот детекты, которые приводили к более сложным расследованиям, они, наоборот, отметали, как мешавшие им достигать поставленных целей.
Вот сейчас попробуйте задуматься, вы занимаетесь ИБ ради чего? Довольны ли вы результатами своей работы? Не кажется ли вам, что вы как белка в колесе бегаете по кругу, а толку ноль?..
Допустим вы работаете в финансовой организации. Вокруг чего будет строиться ваша деятельность как ИБшника? Предотвращение хищений денежных средств у компании и ее клиентов или выполнение требований ЦБ? Вот есть чатик в Телеге про ИБ в финансовом секторе — я не только выпилился из его модераторов, но и перестал его читать, так как там вообще не обсуждают вопросы ИБ. Все время на протяжении нескольких лет обсуждение касается нормативки ЦБ — как трактовать то или иное требование ГОСТа 57580.1, как заполнять отчетность, как объяснить аудитору, что он не прав, и т.д. Вроде одна из самых атакуемых отраслей (крутятся реальные деньги), но ИБ занимается откровенной херней. А все потому, что изначально благая цель — методически помочь банкам бороться с хищениями превратилась в самоцель с обеих сторон. ДИБ ЦБ строчит новую нормативку, не успев отработать старую. А банки судорожно пытаются угнаться за этим бешеным принтером вместо того, чтобы сосредоточиться на главном. Закон Гудхарта во всей красе.