Несколько дней назад компания Splunk выпустила новый релиз своей платформы Splunk 7.1 в котором, наверно, произошло самое ожидаемое изменение за последние несколько лет — да, полностью изменился графический интерфейс. В этой статье мы расскажем об основных нововведениях и улучшениях платформы. Что еще нового помимо GUI? Смотрите под кат.
Интерфейс
Как мы уже сказали, да, и наверно это самое заметное изменение, Splunk полностью поменял интерфейс, вплоть до изменения страницы с ошибкой. Внешний вид становится более современным и стильным. Исправлены элементы диаграмм и просмотра событий для повышения удобства восприятия информации. После обновления немного непривычно, но попользовавшись системой пару дней — привыкаешь и начинает нравится. Да, действительно нравится.
Интеграция с Apache Kafka
У Splunk появился коннектор для Kafka. Теперь вы можете стримить ваши данные с Kafka в инсталляцию Splunk, используя Splunk HTTP эвент коллектор. Также в этом релизе Splunk предлагает возможность интеграции с AWS Kinesis Firehose, но в наших реалиях это менее интересно. Подробное описание функционала и инструкция по деплою доступны здесь.
Контроль доступа
Splunk начал серьезно задумываться о безопасности своей платформы и начиная с этого релиза вы забудете о комбинации admin/changeme. Теперь вам будет предложено ввести пароль на этапе установки с требованием в 8 символов.
Также в новой версии в целях повышения безопасности появилась возможность настройки расширенных политик учетных записей. Теперь администратор Splunk может устанавливать требования к сложности пароля, срок действия, блокировку после повторных неудачных попыток входа.
Мониторинг состояния компонентов Splunk
Ура! Splunk становится более общительным. Теперь когда что-то ломается на этапе сбора/парсинга/индексирования он сам будет пытаться говорить нам об этом и нам не нужно смотреть в лог _internal и искать, что случилось.
В версии Splunk 7.1 реализована возможность мониторинга работоспособности компонентов Splunk. При отклонениях Splunk может указать причину, сообщения о возникших ошибках и дать советы для решения проблемы. Статус работоспособности указан в строке меню.
Усовершенствование метрик и новые SPL-команды
В релизе 7.0 Splunk появился новый тип индексации данных – метрики. Более подробно о них вы можете прочитать в нашем обзоре Splunk 7.0. Использование метрик повышает обработку поисковых запросов и уменьшает общую нагрузку на систему. Но в первом релизе инструментарий для работы с метриками был несколько ограничен.
В новой версии была улучшена команда mstats, а также добавлена команда mcollect.
1. Улучшение mstats
В 7.0 мы могли вычислять только один показатель в этой команде. И для того, чтобы посчитать сразу несколько приходилось использовать дополнительные инструменты, которые усложняли поисковый запрос.
Например:
| mstats avg(_value) as "Average_speed" WHERE metric_name="car.speed" AND index=car_data span=1m
| appendcols [
| mstats max(_value) as "Max_speed" WHERE metric_name="car.speed" AND index=car_data span=1m ]В версии 7.1 появилась возможность вычислять сразу несколько показателей в одной команде.
| mstats avg(_value) as "Average_speed" max(_value) as "Max_speed" WHERE metric_name="car.speed" AND index=car_data span=1m
2. Новая команда mcollect
С помощью команды mcollect мы можем преобразовывать результаты поиска в метрики. Перед выполнением команды необходимо создать новый индекс для метрик, в который мы будем сохранять показатели.
Например, создадим метрику количества ошибок:
ERROR | stats count BY type | rename count AS _value type AS metric_name | mcollect index=my_metric_indexИ да, забыли сказать, они увеличили скорость работы с метриками в 10 раз. Теперь поиск по метрикам еще быстрее!
Обновление Machine Learning Toolkit
Также был обновлен инструментарий ML Toolkit, который позволяет получать из Ваших данных ответы на важные вопросы об аномалиях, прогнозах и разделении на кластеры, используя различные алгоритмы машинного обучения.
X-means
В первую очередь следует отметить добавление нового алгоритма кластеризации X-means, который отличается от стандартного алгоритма кластеризации, K-means, тем, что автоматически определяет оптимальное количество кластеров по Байесовскому информационному критерию. Алгоритм X-means удобно использовать, когда Вы предварительно не знаете на сколько кластеров можно разделить данные.
Управление моделями и экспериментами
Также появился единый интерфейс, позволяющий просматривать существующие модели и их параметров, настраивать доступ к экспериментам для различных ролей пользователей, устанавливать алерты, получать историю экспериментов и алертов.
Заключение
Конечно, в новом релизе есть еще множество нововведений и фич, например таких как: Diagnostic UI, оптимизация работы с кластерами: минимизировано влияние на работу системы при обновлениях, перезапусках, регулярных запланированных поисковых запросах и многие другие изменения. В рамках статьи мы попытались рассказать Вам о наиболее интересных нововведениях, с которыми может столкнуться каждый, кто использует Splunk.
Дополнительно
Для наиболее глубокого изучения вопроса стоит установить приложение Splunk Enterprise 7.1 Overview, а также посмотреть официальное видео релиза.
Также, не забывайте, что по любым вопросом относительно Splunk: его внедрения, обновления, разработки на нем приложений, добавления новых, сложно индексируемых событий и всего прочего вы можете обращаться за помощью к нам через наш сайт.
Мы являемся официальным Premier Партнером Splunk.
