«Квадрант Технологий» выпускает новую Матрицу российских NGFW. Семь производителей расставлены по четырём секторам. Самый приятный называется «Лидерство».
Картинка выглядит знакомо. Почти Gartner Magic Quadrant, только отечественный. Можно вставить в презентацию, показать закупочному комитету и сообщить, что продукт находится среди лидеров рынка.
Проблема начинается, когда читаешь методологию.
По оси X находится выручка от продажи NGFW. По оси Y находится оценка заказчиками качества и функциональности более чем по 15 техническим параметрам. Как именно считаются баллы, какие параметры входят в оценку, сколько весит каждый параметр и как выручка превращается в процентную координату, публично не раскрыто.
Зато слово «Лидерство» написано крупно.
Главный критерий лидерства оказался очень простым
На матрице все семь участников находятся в верхней половине. Ни одного продукта в секторах «Старт» и «Совершенствование» нет.
Следствие довольно забавное. В опубликованной картинке границу между «Развитием» и «Лидерством» фактически определяет горизонтальная координата.
А горизонтальная координата представляет выручку.
Можно получить у заказчиков оценку выше, чем продукт из сектора «Лидерство», но остаться в «Развитии», если производитель меньше продаёт.
Мне сложно придумать более элегантный способ превратить коммерческий успех в технический авторитет.
Выручка полезна для оценки масштаба бизнеса. Большой поставщик обычно располагает большим бюджетом разработки, каналом продаж и службой поддержки. Но выручка ничего напрямую не говорит о производительности TLS inspection, деградации при десяти тысячах правил, качестве IPS, работе кластера при отказе или удобстве миграции политик.
Выручка измеряет деньги.
Причём непонятно даже, что означает центральная отметка 50%. Половину рынка? Половину результата крупнейшего производителя? Условный нормализованный балл? Почему 49% означает «Развитие», а 51% уже превращает поставщика в «Лидера»?
Формула не опубликована.
Поэтому правый верхний сектор честнее было бы назвать «Высокая пользовательская оценка и большая выручка». Маркетинговый эффект был бы похуже, зато смысл соответствовал бы данным.
А теперь сравним с настоящим Gartner
Я не поклонник Gartner и не считаю Magic Quadrant откровением свыше. Gartner регулярно критикуют, вендоры спорят с аналитиками, а сама двухмерная модель неизбежно упрощает сложный рынок.
Только между Gartner Magic Quadrant и российской матрицей есть довольно существенная разница.
У Gartner две оси называются Ability to Execute и Completeness of Vision. Внутри них используется до 15 взвешенных критериев.
|
Gartner |
Матрица NGFW 2026 |
|
Ability to Execute включает продукт, жизнеспособность компании, продажи, реакцию на рынок, customer experience и операционную деятельность |
Ось X представляет выручку от NGFW |
|
Completeness of Vision включает понимание рынка, продуктовую стратегию, инновации, бизнес-модель, отраслевую и географическую стратегию |
Ось Y представляет пользовательскую оценку более чем по 15 параметрам |
|
До 15 критериев имеют веса |
Веса публично не раскрыты |
|
Gartner отдельно заявляет, что статус клиента не влияет на позицию в Magic Quadrant |
Публичного описания аналогичного механизма я не нашёл |
|
Отзывы пользователей существуют отдельно в Gartner Peer Insights |
Пользовательский опрос непосредственно формирует одну из координат |
|
Gartner предупреждает, что Magic Quadrant нельзя использовать как единственный инструмент выбора |
Публичная матрица выглядит как готовая иерархия рынка |
Разница принципиальная.
Gartner тоже учитывает коммерческую способность производителя исполнять обещания. Было бы странно полностью игнорировать продажи, поддержку и финансовую устойчивость. Но выручка не превращена в самостоятельную ось, которая буквально толкает точку вправо к слову «Лидер».
Ещё интереснее пользовательские оценки. Gartner не смешивает Peer Insights с Magic Quadrant в одну координату. Отзывы заказчиков и аналитическая оценка существуют как разные инструменты.
В российской матрице пользовательский опрос становится половиной всей геометрии рейтинга.
При этом мы не знаем даже базовых вещей.
- Сколько заказчиков оценивали каждый конкретный продукт.
- Какие именно технические параметры вошли в анкету.
- Как распределены веса.
- Как обрабатывался ответ «не пользуемся».
- Как учитывались разные версии NGFW.
- Как сравнивались маленькие инсталляции и крупные распределённые сети.
- Как проверяли устойчивость результата к изменению состава респондентов.
Можно назвать такую конструкцию аналитической моделью. Проверить модель по публичным данным нельзя.
Кто платит аналитику
Есть ещё более неприятный вопрос.
Руководитель «Квадрант Технологий» ранее рассказывал, что агентство делает заказные исследования, а основную аудиторию его клиентов составляют вендоры.
Сам по себе факт ничего не доказывает. Gartner тоже продаёт услуги производителям. Аналитики вообще почему-то любят получать зарплату.
Но когда компания зарабатывает на вендорах и одновременно распределяет тех же вендоров между «Лидерством» и «Развитием», конфликт интересов нельзя закрыть фразой про независимость.
Нужен механизм.
Кто финансировал конкретное исследование? Какие участники матрицы являются коммерческими клиентами агентства? Может ли клиент влиять на критерии? Может ли коммерческое взаимодействие влиять на включение в исследование? Кто утверждает веса? Кто рассматривает возражения аналитиков и производителей?
На подобные вопросы публичная методология ответа не даёт.
Поэтому я не могу утверждать, что место в матрице продаётся. У меня нет таких доказательств.
Но авторы матрицы тоже не дают мне инструментов проверить, что коммерческие отношения никак не связаны с положением точки.
Для исследования, которое потом используется в продажах, разница критическая.
Здесь действует довольно простой принцип. Если ты одновременно берёшь деньги у участников рынка и ранжируешь участников рынка, прозрачность должна быть выше обычной, а не ниже.
Мой субъективный рейтинг внезапно оказался прозрачнее
Самое смешное, что буквально несколько дней назад я опубликовал собственное сравнение российских NGFW.
Я не Gartner. У меня нет красивого квадрата, аналитического агентства и консультантов с опытом «большой четвёрки». Мой рейтинг субъективный, и я этого не скрываю.
Зато читатель видит, почему я сделал каждый вывод.
Я смотрел независимые нагрузочные тесты, поведение NGFW при росте таблицы до десяти тысяч правил, зрелость платформы, архитектуру, функциональность, сертификацию, интеграции и историю эксплуатации. Где данные нельзя было честно сравнивать, я прямо писал, что сравнивать нельзя. Где тест относился к старой версии, указывал версию. Где молодой продукт показывал великолепную производительность, не объявлял его автоматически зрелым.
Например, PT NGFW в тесте «Инфосистемы Джет» практически сохранил производительность при переходе от 200 правил к 10 тысячам правил и тысяче NAT. UserGate 7.4.1 в том же сценарии показал сильную деградацию. Но я специально написал, что из такого теста нельзя сделать вывод «UserGate в десять раз хуже». Версия изменилась, аппаратные платформы различаются, поэтому заказчику нужен собственный пилот.
Вот такая скучная штука называется оговорками.
Парадоксально, но мой заведомо субъективный блоговый рейтинг с точки зрения прозрачности выглядит честнее аналитической матрицы. Я сразу говорю, что критерии мои. Показываю данные, которыми пользовался. Не превращаю выручку в половину определения лидерства.
И да, денег за места в списке я ни с одного производителя не брал.
Мелочь, а методологически приятно.
Почему мне вообще не нравится такая аналитика
Проблема не в том, что кто-то нарисовал неидеальный график. Проблема начинается после публикации.
Через неделю никто не будет обсуждать размер выборки и нормализацию выручки. В коммерческой презентации появится одна фраза. «Лидер российского рынка NGFW по версии Квадрант Технологий».
Дальше возникает прекрасная петля.
Большой производитель много продаёт. Выручка толкает производителя вправо. Справа находится «Лидерство». Статус лидера помогает проходить в новые short list и продавать ещё больше. На следующем исследовании выручка снова высокая.
Матрица начинает не просто описывать рынок, а консервировать существующее распределение рынка.
Молодой продукт может оказаться технически сильнее в конкретном сценарии. Нишевой продукт может идеально подходить определённому заказчику. Но коммерчески меньший производитель заранее получает штраф по одной из двух координат.
Такой подход полезен, если исследование называется «Карта коммерческой силы поставщиков NGFW».
Для разговора о технических лидерах подход слабый.
Хотите российский Gartner, придётся делать работу Gartner
Я вполне допускаю, что внутри полного коммерческого отчёта есть таблицы, формулы и пояснения, которых нет в пресс-релизе.
Но рынок увидит именно публичную картинку. Вендоры будут продавать именно публичное слово «Лидерство». Поэтому основные основания для такого слова тоже должны быть публичными.
Нужно раскрыть выборку по каждому продукту, анкету, веса, формулы координат, нормализацию выручки, критерии включения, правила обработки пропусков и механизм управления конфликтом интересов.
Тогда матрицу можно будет критиковать, защищать и воспроизводить.
Пока предлагается другой вариант. Посмотреть на четыре квадрата и поверить людям, которые раньше работали в IDC, Gartner и компаниях «большой четвёрки».
Но опыт работы в Gartner не превращает методологию в Gartner.
Можно скопировать форму квадрата. Значительно сложнее скопировать систему критериев, процедуры независимости и ограничения выводов.
Поэтому в нынешнем виде я бы воспринимал Матрицу NGFW не как рейтинг лучших продуктов, а как коммерческую карту рынка с добавленной пользовательской оценкой.
Для такой карты данные могут быть интересны.
До Gartner ей пока очень далеко.
