Transcript Log Analyzer Брылёв Кирилл Дурдин Денис

http://swsoft.nsu.ru/~tim/loganalyzer/
Log Analyzer
Брылёв Кирилл
Дурдин Денис
Кошелев Дмитрий
Ливанов Антон
[email protected]
[email protected]
[email protected]
[email protected]
Log Analyzer
о проекте
Цели
Автоматизация анализа данных системной статистики
Определение отклонений в работе системы, которые могут
возникать при атаках, наличии вирусов или сбоях в системе
Подходы
Использование ранее накопленной статистики
Анализ поведения параметров системы в течение периода
обучения и определение различных зависимостей между
параметрами
При нарушении в некоторый момент времени этих
зависимостей система оповещает об аномальном поведении
Log Analyzer
Windows версия
Чем занимались
Проектирование архитектуры системы на основе COM и с
использованием БД
Новый интерфейс плагина анализатора (необъектный)
Разработка архитектуры новой версии под Windows
Создание новой версии системы под Windows пока с
минимумом функциональности
Сбор статистики посредством протокола SNMP
Log Analyzer
Windows версия
Описание
поддержка произвольного количества логов, логи по
умолчанию, объединение и редактирование логов
на любой лог может быть “повешен” экземпляр
анализатора, хранящегося в dll
возможность установки параметров анализатора и его
обучения
обучение нескольких анализаторов производится в фоновом
режиме
просмотр всех alert сообщений, сообщений по выбранным
логам или анализаторам
Log Analyzer
Windows версия
Log Analyzer
Windows версия
Новый интерфейс плагина анализатора
const string & getModuleTitle (); const string & getModuleInfo ();
const vector<string> & getLogRequiredCountersTitles ();
const vector<Parameter> & getModuleDefaultParameters ();
int install (
const string & statefilename, const
vector<Parameter> & parameters, const string &
logfilename, ProgressIndicator & indicator);
int check (
const string & statefilename, const vector<double> &
logrow, char * const description, size_t
descriptionsize);
double tune (const string & statefilename, double rate);
Каждому экземпляру анализатора сопоставляется файл состояния,
в который он пишет всё, что ему угодно.
Поддержка анализаторов, нацеленных на анализ показаний
конкретных счётчиков.
Log Analyzer
Windows версия
Планы
Разработка и интегрирование системы оповещения
пользователя
Развитие интерфейса плагина (формирование сообщений)
Создание подобия законченного продукта (инсталлятор)
Log Analyzer
Linux версия
Чем занимались
Отладка анализаторов
Планы
Разработка и интегрирование системы оповещения
пользователя
Log Analyzer
Алгоритмы
Чем занимались
Поиск интересных алгоритмов в книге Н.Г.Загоруйко
"Прикладные методы анализа данных и знаний"
Разбор алгоритмов GAP, ZET, WANGA для поиска аномалий
Разбиение счётчиков на группы с помощью алгоритмов
таксономии lKRAB и Forel
Таксономия логов по времени
Исследование принципов и алгоритмов выявления наиболее
информативных признаков (реализация алгоритма AdDel)
Log Analyzer
Алгоритмы
GAP (прогнозирование динамических рядов)
формирование базовых элементов (штаммов)
поиск компетентных штаммов
предсказание по ним заданного элемента
Log Analyzer
Алгоритмы
ZET (заполнение пробелов в таблице)
поиск самых компетентных для пробела строк и столбцов
подбор параметров в формуле для предсказания,
учитывающей компетентности строк и столбцов
прогнозирование с использованием формулы для строк и
столбцов
Log Analyzer
Алгоритмы
Wanga (заполнение пробелов в таблице)
вычисление подсказок по всем четвёркам элементов
матрицы
поиск самых компетентных для пробела строк и столбцов
вычисление подсказок на полученной матрице для
конкретного элемента
их средневзвешенная сумма является прогнозом
Применим также для шкал интервалов, порядка и
наименований.
Log Analyzer
Алгоритмы
Планы
Реализация алгоритмов GAP, ZET и WANGA для поиска
аномалий
Log Analyzer
Проделанная работа:
Оповещение
Практика
Сделана версия модуля оповещения
 - Посылка e-mail по протоколу SMTP, оповещение с
помощью написанного пользователем скрипта.
 - Настройка профилей пользователей (хранятся в реестре).
 - Пользовательский интерфейс.
 - Интерфейс системы оповещения.
Log Analyzer
Проделанная работа:
Оповещение
Теория
Велась работа по направлениям:
 - Обзор систем оповещений в существующих системах




безопасности.
- Поиск путей для переиспользования существующих
средств оповещения.
- Средства журналирования и оповещения Unix и Windows.
- Доставка сообщений с помощью SMS.
- Формат информационного сообщения.
Log Analyzer
Оповещение
Планы
Создание удобной, гибкой в настройке (пакетная отправка
и фильтрация сообщений) и многофункциональной системы
оповещения под Windows и Linux.
Возможно использования готового решения (напр. WinSyslog
посредством протокола syslog).
Разработка формата alert сообщения (краткость +
информативность).
Поддержка SMS, ICQ и др.
http://swsoft.nsu.ru/~tim/loganalyzer/
Log Analyzer
Брылёв Кирилл
Дурдин Денис
Кошелев Дмитрий
Ливанов Антон
[email protected]
[email protected]
[email protected]
[email protected]