13.11.2003

Программное обеспечение: Анализ лог файлов прокси серверов

Анализ логов может дать руководителям, начальникам ИТ отделов полную картину того, как сотрудники используют Интернет, что в свою очередь может помочь в организации повышения производительности труда, выявить сотрудников, использующих Интернет не в служебных целях, а для развлечений, а значит, сэкономить деньги компании. Кроме того, анализ логов может сэкономить время администратора, потраченное на обнаружения неисправностей или брешей в системе и помочь устранить их.

TECKLORD

Анализ лог файлов

Введение

Эта статья описывает утилиты компании ADVSoft для работы с лог файлами таких распространенных продуктов, как прокси сервера Microsoft ISA Server 2000, Qbik Wingate (2.x и выше), Ositis Winproxy (3.x и выше), Kerio Winroute (3.x и выше) и почтовый сервер Alt-N MDeamon. Эти утилиты предназначаются для быстрого составления отчетов по сетевой активности пользователей, с использованием информации, собранной вышеперечисленными продуктами.

Анализ логов может дать руководителям, начальникам ИТ отделов полную картину того, как сотрудники используют Интернет, что в свою очередь может помочь в организации повышения производительности труда, выявить сотрудников, использующих Интернет не в служебных целях, а для развлечений, а значит, сэкономить деньги компании. Кроме того, анализ логов с помощью продуктов от ADVSoft может сэкономить время администратора, потраченное на обнаружения неисправностей или брешей в системе и помочь устранить их.

Анализ логов прокси серверов

Компания ADVSoft предоставляет 3 версии утилиты ProxyInspector: ProxyInspector Light (эта утилита будет доступна лишь в конце этого года, и в данный момент не распространяется), ProxyInspector и ProxyInspector Enterprise (Пока существует версия лишь для Microsoft ISA Server). Утилита ProxyInspector Light работает лишь с локальной базой данных, совместима с такими программами как Qbik WinGate, Ositis WinProxy и Krio WinRoute. Лицензия распространяется на 12 пользователей Интернет для одного сервера. Эта утилита будет оптимальным вариантом для маленьких компаний. Эта утилита является наиболее урезанной версией из всех, предлагаемых ADVSoft. ProxyInspector – это более сложная утилита с поддержкой командной строки, работающая как с локальной БД, так и с БД на сервере Interbase 6.x/Firebird. Она совместима со всеми вышеперечисленными программными продуктами, и, кроме того, поддерживает Microsoft ISA Server. Количество пользователей для одного прокси сервера – от 25 до 250 человек. Утилита ProxyInspector Enterprise предназначена прежде всего для работы в большой доменной сети, так как обладает такими специальными возможностями, как синхронизация с Active Directory, поддержка базы данных на SQL сервере от Microsoft и Interbase 6.x/Firebird, работа с логами одновременно нескольких серверов. Количество пользователей на один прокси сервер от 100 человек. Эта утилита просто удобна в обращении и может помочь найти нужную информацию в считанные секунды.

1. ProxyInspector for Microsoft ISA Server (Enterprise)

ProxyInspector for ISA Server может быть установлен на любой машине, имеющей доступ к логам ISA сервера. После установки ProxyInspector for ISA Server следует сделать некоторые изменения в настройках ISA сервера. Все логи должны вестись ISA сервером в формате W3C. Для корректной работы утилиты логи для сервиса Web прокси должны содержать следующие записи:

  • Client IP
  • Client user name
  • Client agent
  • Date
  • Time
  • Bytes sent
  • Bytes received
  • Protocol name
  • Object name

Для сервиса фаирвол:

  • Client IP
  • Client user name
  • Client agent
  • Date
  • Time
  • Destination IP
  • Bytes sent
  • Bytes received
  • Protocol name

Для пакетного фильтра:

  • Date
  • Time
  • Source IP
  • Destination IP
  • Rule
  • Source port
  • Destination port

Настройка

Как и обещал производитель, эта программа имеет интуитивно-понятный интерфейс, и все требуемые настройки можно совершить без чтения документации и глубокого анализа написанного в «хелпе» текста.
Окно настроек программы состоит из 5 меню и подменю, расположенных в правом фрейме (Рис. 1). Как уже говорилось, ProxyInspector for ISA Server может работать с удаленной базой (хранить данные используя SQL сервер). Указать путь к базе в таком случае следует в меню База данных. В меню Отчеты предоставляется возможность выбора формата отчета для сохранения (ProxyInspector for ISA Server может сохранять отчеты в виде простой html странички, html странички с CSS и в виде электронных таблиц Excel), формата информации о трафике (почему-то в двух вариантах подсчета байтов в килобайте), редактирования оформления диаграмм, выбора времени и даты для генерации встроенных отчетов, подстановки пользователей, группировки сайтов и выбора вида сохранения данных в формате MS Excel.

Рис. 1

Меню Электронная почта позволяет задать опции для отсылки отчета по почте (к сожалению можно создать лишь одну запись). Меню Microsoft ISA Server 2000 содержит важные настройки для создания требуемых отчетов. Тут же указывается путь к базе логов ISA сервера.

2. ProxyInspector for WinRoute

Работа с этим прокси сервером поддерживается двумя версиями утилиты ProxyInspector – ProxyInspector Light и ProxyInspector. Настройки утилиты особо не отличаются от вышеописанных. Единственное замечание: лучше остановить свой выбор на указании пути к лог файлам WinRoute вручную, и проигнорировать альтернативу чтения пути из реестра, поскольку различные версии этого прокси сервера хранят информацию о пути в разных ключах реестра. Более подробно о настройках WinRoute можно прочитать на странице http://www.advsoft.ru/ru/support/manuals/ в разделе ProxyInspector for WinRoute.
Если требуется создание отчетов по активности пользователей, следует указать в настройках прокси сервера обязательную аутентификацию, иначе создание отчета по сетевой активности отдельного пользователя будет невозможно.

3. ProxyInspector for Ositis WinProxy.

С этим ПО также работают две версии описываемой утилиты: ProxyInspector Light и ProxyInspector. Для корректной работы ProxyInspector в настройках Ositis WinProxy следует проставить галочку для Enable detailed logging to file (вести подробный лог в файле), в меню File -> Settings на вкладке Logging и указать собственно сам путь к директории для лог файлов. Подробнее о настройках WinProxy можно прочесть по адресу http://www.advsoft.ru/ru/support/manuals/proxyinspector/piwp_setup.php

4. ProxyInspector for WinGate

Поддерживается двумя версиями: ProxyInspector Light и ProxyInspector. После установки утилиты, предлагается воспользоваться мастером конфигураций для настройки WinGate. При желании, можно вручную настроить WinGate, изменив нужные параметры в опциях программы. Подробное описание настройки дается в Помощи, прилагаемой к утилите ProxyInspector for WinGate.
Особое внимание следует уделить утилите ProxyInspector Enterprise for Microsoft ISA Server, так как по нашему мнению – эта самая мощная утилита, из всех тестируемых.

Использование

После настройки конфигураций программы, следует импортировать записи ISA сервера, так как ProxyInspector работает со своей собственной базой, что защищает логи от перезаписи в случае неожиданного завершения работы системы. Импорт логов в ProxyInspector for ISA Server возможен с помощью графического интерфейса (кнопка «Импортировать лог файлы» на панели инструментов) и командной строки (следует заметить, что работа с командной строкой поддерживается в версиях ProxyInspector и ProxyInspector Enterprise). В случае с командной строкой, импорт логов можно автоматизировать, воспользовавшись Планировщиком задач.

Команда piconsole.exe -atgen создаст .bat-файл (для Планировщика задач). Пример этого файла:
--------------- schedule.bat-------------
at 08:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 10:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 12:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 14:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 16:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 18:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 20:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 22:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
at 00:00 /every:M,T,W,Th,F,S,Su "C:\Program Files\ProxyInspector for ISA Server\PIConsole.exe" -import
--------------- schedule.bat-------------
Использование команд:

PIConsole.exe –atgen Создать .bat файл
PIConsole.exe –import Импортировать лог в БД
PIConsole.exe -report "template_name" /saveto="file_name" Создать отчет по шаблону и сохранить в файл. (Дополнительные ключи: /excel (отчет в формате MS Excel), /nocss (отчет в html-формате без каскадных стилей))
PIConsole.exe -report "template_name" /mailto= "recipient" [/subject= "message_subject"] Создать отчет по шаблону и отправить по почте (Дополнительные ключи: /excel (отчет в формате MS Excel), /nocss (отчет в html-формате без каскадных стилей))
PIConsole.exe –packdb Удалить записи из локальной базы данных. (Эта операция возможна только из-под командной строки. Используя GUI можно лишь пометить записи на удаление).
Если база данных хранится на SQL сервере, то для удаления записей следует использовать встроенные возможности вашего SQL сервера
PIConsole.exe -silent Запрет вывода сообщений программы на экран

После импортирования логов можно приступать к генерации отчетов. Для начала создадим самый простой отчет по прокси серверу. Для этого в навигационной панели двойной щелчок по меню Прокси сервер. В появившемся окне (Рис. 2), укажем требуемые опции для формирования отчета. В данном случае, мы оставили настройки по умолчанию.

Рис. 2

Далее, указав период для формирования отчета, мы получили описание в деталях и диаграммах по использованию всего трафика. ProxyInspector for ISA Server создал общий отчет об использовании трафика пользователями, распределении его по IP адресам, сайтам, по часам, дням недели, протоколам и программам. Фрагмент отчета вместе с диаграммой (Табл.1):

Proxy Server
Activity by user
User Requests Sent Received Total traffic (*) %(Total traffic)
anonymous 43,456 45.3 MB 126.5 MB 180.8 MB 9.21%
System 83 66.54 MB 15.6 MB 82.14 MB 4.18%
user1 16 5,870 Bytes 95.4 MB 95.5 MB 4.86%
user2 425 875.54 MB 1.54 MB 877.08 MB 44.66%
user3 952 1,005 Bytes 5,450 KB 5.5 KB 0.01%
user4 45 453.87 KB 6.65 MB 6.1 MB 0.31%
user5 658 554.45 MB 23.54 MB 578 MB 29.43%
user6 56 345 KB 74.56 MB 74.9 MB 3.81%
user7 19 926 Bytes 78.4 MB 78.4 MB 3.46%
user8 47 3,45 Bytes 45,540 KB 45.5 KB 0.01%
Total 45,164 1541.8 MB 422.2 MB 1964 MB 100 %

ProxyInspector for ISA Server способен создать отчеты по активности отдельного пользователя, группы пользователей, времени, дню недели, IP-адресе и т.д. Для просмотра списка пользователей, раскройте меню «Пользователи» в правом фрейме главного окна (Рис. 3).
При выборе одного или нескольких пользователей, будет составлен полный отчет по их сетевой активности: данные об IP-адрес, адресах посещенных сайтов и распределение трафика по ним, распределение трафика по часам, дням недели, протоколам, программам и диаграммы, иллюстрирующие вышесказанное. Эта возможность может очень пригодится системным администраторам и специалистам по безопасности для получения подробной информации о деятельности того или иного сотрудника фирмы, используемых им программам.
Для удобства чтения логов, или создания отчета сетевой активности группы пользователей (например, сотрудников одного отдела (если требуется отчет по целому отделу)), некоторых пользователей можно объединить в группы (пункт меню База->Группы пользователей).

ProxyInspector for ISA Server позволяет хранить некоторую информацию о пользователях (Ник, настоящее имя, дополнительная информация, e-mail), предварительно синхронизировав ее с Active Directory. Эта возможность позволяет быстро получить необходимую информацию о человеке путем наведения курсора мышки на его имя в меню «Пользователи» в правом фрейме главного окна программы. Для создания такой базы, вы можете воспользоваться окном Редактор свойств пользователей (База->Редактор свойств пользователей).
Для создания отчета по протоколам, можно воспользоваться окном Редактор протокола, из меню База, чтобы добавить, или удалить из общего списка протоколов необходимые данные. Менеджер отчетов дает возможность создавать шаблоны отчетов для будущего использования.

Сложно возразить, что создание отчетов сетевой активности является одним из важнейших элементов защиты сети, так как дает исчерпывающую информацию о пользователях, их деятельности, используемых ими приложениях и т.д.

Давайте перейдем к практическому использованию и попробуем решить некоторые проблемы безопасности. Предположим, в нашем распоряжении небольшая корпоративная сеть (до 150 рабочих станций под управлением Windows 2000, XP; AD). Пользователи поделены на группы по отделам, каждая группа работает с определенным программным обеспечением и выполняет различные задачи. Скажем отдел работы с общественностью использует в основном почту (the Bat и Outlook Express), а отдел рекламы – ICQ и Web браузер. Вы заметили общее повышение исходящего трафика по сравнению с прошлой неделей. Простой отчет по группам пользователей с выбором лишь одного параметра для создания отчета (Распределение трафика по протоколам (исходящий трафик) поможет вам определить отдел, из которого пересылаются данные. Далее создадим отчет по используемым протоколам этого отдела:

Распределение трафика по протоколам
Протокол Запросы Отправлено (*) Получено Общий трафик %(Всего)
SMTP 10,546 2,452 MB 2,164 KB 2454.1 MB 94%
POP3 1,475 66.54 MB 657.5 MB 148.7 MB 2%
Неизвестен 13 5,870 Bytes 1,273 KB 1,280 KB 1,3%
HTTP 351 15.8 KB 195 MB 195.1 MB 2,7%
FTP 4 0 KB 35.6 KB 35.6 KB 0.01%
Total 45,164 1541.8 MB 422.2 MB 1964 MB 100 %

Явное преимущество использования SMTP протокола может говорить лишь о том, что ведется активная рассылка какой-то информации, будь то спам, или ценные данные. Сформировав отчет по протоколу SMTP, мы без труда определим IP-адрес, с которого ведется рассылка, и имя пользователя. Нам остается лишь настроить SMTP фильтр для ISA сервера и в свободную минутку решить возникшую проблему.
Иначе, эту проблему можно решить, воспользовавшись логами Web-прокси, в которых указывается название активного в сети приложения. Для этого создадим отчет по приложениям и использованному ими протоколу. В списке доступных приложений выберем неизвестные нам и группу приложений “Not specified”. Таким образом, посмотрев статистику по использованных протоколах, мы сможем определить приложение, рассылающее информацию по протоколу SMTP. Заметим, что такой способ обнаружения приложения зависит от правильности настроек ISA сервера.

Анализ логов почтовых серверов.
Излишне говорить, что анализ логов почтовых серверов играет немаловажную роль в обеспечении безопасности предприятия. Компания ADVSoft предоставила утилиту для создания отчетов по лог файлам для почтового Alt-N MDeamon. Поскольку доступна только демо-версия утилиты MailDetective for Alt-N MDeamon, то именно ее мы попытаемся описать в нашей статье.

MailDetective for Alt-N MDeamon

Эта утилита создает отчет по работе почтового сервера за определенный промежуток времени и выделить следующую информацию из логов, выводя данные о количестве писем, локальном трафике, внешнем трафике и общем трафике:
1. Общий отчет по работе сервера
Распределение почты по получателям
Распределение почты по отправителям
Распределение почты по доменам отправителей
Распределение почты по доменам получателей.
Примечание: владея такой информацией очень легко найти неполадки в работе почтового сервера (если таковые имеются) и быстро их устранить
2. Отчет по работе сервера в определенное время
Дается возможность просмотреть данные по каждому часу.
3. Создание отчета по каждому дню недели
4. Создание отчета по каждому почтовому ящику
Позволяет контролировать переписку одного пользователя, или группы пользователей.
5. Отчет по активности пользователей определенного домена.
Ведение отчетов такого типа может избавить предприятие от кражи интеллектуальной собственности, так как позволяет следить за перепиской сотрудников, и контролировать ее.
Утилита MailDetective for Alt-N MDeamon поддерживает также режим командной строки. Вышеприведенный пример для ProxyInspector действителен также и для MailDetective но с одним исключением: название исполняемого файла в MailDetective – MDConsole.exe, а не PIConsole.exe, как в ProxyInspector.

Заключение

Эта статья была посвящена набору утилит для формирования отчетов и анализа лог фалов почтовых и прокси серверов с помощью утилит ProxyInspector Light, ProxyInspector, ProxyInspector Enterprise и MailDetective от компании ADVSoft. Эти утилиты оказались более удобными для формирования отчетов и наблюдения за сетевой активностью, чем встроенные средства самих приложений. Скачать демо-версию этих утилит можно отсюда
Мы надеемся, что системные администраторы, использующие вышеописанные прокси сервера и почтовые сервера, по настоящему оценят все возможности этого мощного средства для работы с лог файлами.

или введите имя

CAPTCHA