Обнаружение аномалий - Anomaly detection

Часть серии по
Машинное обучение и интеллектуальный анализ данных
Проблемы Классификация Кластеризация Регресс Обнаружение аномалий Очистка данных AutoML Правила ассоциации Обучение с подкреплением Структурированный прогноз Функциональная инженерия Особенности обучения Онлайн обучение Полу-контролируемое обучение Неконтролируемое обучение Учимся ранжировать Введение в грамматику
Обучение с учителем ( классификация  • регрессия ) Деревья решений Ансамбли Упаковка Повышение Случайный лес k -NN Линейная регрессия Наивный байесовский Искусственные нейронные сети Логистическая регрессия Перцептрон Вектор релевантности (RVM) Машина опорных векторов (SVM)
Кластеризация БЕРЕЗА ИЗЛЕЧИВАТЬ Иерархический k -средство Ожидание – максимизация (EM) DBSCAN ОПТИКА Средний сдвиг
Снижение размерности Факторный анализ CCA ICA LDA NMF PCA PGD t-SNE
Структурированный прогноз Графические модели Сеть Байеса Условное случайное поле Скрытый Марков
Обнаружение аномалий k -NN Фактор местного выброса
Искусственная нейронная сеть Автоэнкодер Когнитивные вычисления Глубокое обучение DeepDream Многослойный перцептрон RNN LSTM ГРУ ESN Ограниченная машина Больцмана GAN SOM Сверточная нейронная сеть U-Net Трансформатор Пиковая нейронная сеть Мемтранзистор Электрохимическая RAM (ECRAM)
Обучение с подкреплением Q-обучение SARSA Временная разница (TD)
Теория Компромисс смещения и дисперсии Теория вычислительного обучения Минимизация эмпирического риска Обучение Оккама PAC обучение Статистическое обучение Теория ВК
Площадки для машинного обучения NeurIPS ICML ML JMLR ArXiv: cs.LG
Статьи по Теме Глоссарий искусственного интеллекта Список наборов данных для исследований в области машинного обучения Краткое описание машинного обучения
v т е

Часть серии по
Информационная безопасность
Связанные категории безопасности
Компьютерная безопасность Автомобильная безопасность Киберпреступность Киберсекс трафик Компьютерное мошенничество Кибергедон Кибертерроризм Кибервойна Электронная война Информационная война Интернет-безопасность Мобильная безопасность Сетевая безопасность Защита от копирования Управление цифровыми правами
Угрозы
Рекламное ПО Постоянная угроза повышенной сложности Выполнение произвольного кода Бэкдоры Аппаратные бэкдоры Внедрение кода Преступное ПО Межсайтовый скриптинг Вредоносные программы для криптоджекинга Ботнеты Данные нарушения Попутная загрузка вспомогательные объекты браузера Компьютерное преступление Вирусы Парсинг данных Отказ в обслуживании Подслушивание Электронное мошенничество Подмена электронной почты Эксплойты Клавиатурные шпионы Логические бомбы Бомбы замедленного действия Вилочные бомбы Zip бомбы Мошеннические дозвонщики Вредоносное ПО Полезная нагрузка Фишинг Полиморфный движок Повышение привилегий Программы-вымогатели Руткиты Буткиты Пугающее ПО Шеллкод Рассылка спама Социальная инженерия (безопасность) Соскабливание экрана Шпионское ПО Программные ошибки троянские кони Аппаратные трояны Трояны удаленного доступа Уязвимость Веб-оболочки щетка стеклоочистителя черви SQL-инъекция Незаконное программное обеспечение безопасности Живой мертвец
Защиты
Безопасность приложений Безопасное кодирование Безопасность по умолчанию Безопасность благодаря дизайну Случай неправильного использования Контроль доступа к компьютеру Аутентификация Многофакторная аутентификация Авторизация Программное обеспечение компьютерной безопасности Антивирусная программа Операционная система, ориентированная на безопасность Безопасность, ориентированная на данные Обфускация кода Маскировка данных Шифрование Межсетевой экран Система обнаружения вторжений Хост-система обнаружения вторжений (HIDS) Обнаружение аномалий Информация о безопасности и управление событиями (SIEM) Мобильный безопасный шлюз Самозащита рабочего приложения
v т е

В анализе данных , обнаружение аномалий (также выброс обнаружения ) является идентификация редких предметов, событий или наблюдений , которые поднимают подозрение, значительно отличающиеся от большинства данных. Обычно аномальные элементы приводят к какой-то проблеме, такой как банковское мошенничество , структурный дефект, медицинские проблемы или ошибки в тексте. Аномалии также называются выбросами , новинками, шумом, отклонениями и исключениями.

В частности, в контексте обнаружения злоупотреблений и сетевых вторжений интересными объектами часто являются не редкие объекты, а неожиданные всплески активности. Этот шаблон не соответствует общему статистическому определению выброса как редкого объекта, и многие методы обнаружения выбросов (в частности, неконтролируемые методы) не работают с такими данными, если они не были агрегированы надлежащим образом. Вместо этого алгоритм кластерного анализа может обнаруживать микрокластеры, образованные этими шаблонами.

Существуют три широкие категории методов обнаружения аномалий. Методы неконтролируемого обнаружения аномалий обнаруживают аномалии в немаркированном наборе тестовых данных в предположении, что большинство экземпляров в наборе данных являются нормальными, путем поиска экземпляров, которые кажутся наименее подходящими для остальной части набора данных. Для контролируемых методов обнаружения аномалий требуется набор данных, который был помечен как «нормальный» и «ненормальный», и включает обучение классификатора (ключевым отличием от многих других задач статистической классификации является присущий несбалансированному характеру обнаружения выбросов). Методы полууправляемого обнаружения аномалий создают модель, представляющую нормальное поведение из заданного набора данных нормального обучения, а затем проверяют вероятность того, что тестовый экземпляр будет сгенерирован используемой моделью.

Приложения

Обнаружение аномалий применят в различных областях, такие как обнаружение вторжений , обнаружение мошенничества , обнаружение неисправностей, мониторинг состояния системы, обнаружение событий в сенсорных сетях, обнаружение нарушений экосистем, а также дефекты обнаружение в изображениях с использованием машинного зрения . Он часто используется при предварительной обработке для удаления аномальных данных из набора данных. При обучении с учителем удаление аномальных данных из набора данных часто приводит к статистически значимому повышению точности.

Популярные техники

В литературе было предложено несколько методов обнаружения аномалий. Вот некоторые из популярных техник:

• Методы, основанные на плотности ( k-ближайший сосед , фактор локального выброса , изолированные леса и многие другие варианты этой концепции).
• Обнаружение выбросов на основе подпространства, корреляции и тензора для данных большой размерности.
• Одноклассные опорные векторные машины .
• Репликаторные нейронные сети ., Автокодеры , вариационные автокодеры, нейронные сети с долговременной краткосрочной памятью.
• Байесовские сети .
• Скрытые марковские модели (СКМ).
• Определитель минимальной ковариации
• Обнаружение выбросов на основе кластерного анализа .
• Отклонения от правил ассоциации и частые наборы элементов.
• Обнаружение выбросов на основе нечеткой логики.
• Ансамблевые техники , использующие объединение функций , нормализацию оценок и различные источники разнообразия.

Производительность различных методов во многом зависит от набора данных и параметров, и методы имеют небольшие систематические преимущества перед другими при сравнении множества наборов данных и параметров.

Приложение к безопасности данных

Обнаружение аномалий было предложено для систем обнаружения вторжений (IDS) Дороти Деннинг в 1986 году. Обнаружение аномалий для IDS обычно выполняется с помощью пороговых значений и статистики, но также может выполняться с помощью мягких вычислений и индуктивного обучения. Типы статистики, предложенные к 1999 г., включали профили пользователей, рабочих станций, сетей, удаленных хостов, групп пользователей и программ, основанные на частотах, средних значениях, дисперсиях, ковариациях и стандартных отклонениях. Аналогом обнаружения аномалий при обнаружении вторжений является обнаружение злоупотреблений .

В предварительной обработке данных

При обучении с учителем обнаружение аномалий часто является важным этапом предварительной обработки данных, чтобы предоставить алгоритму обучения правильный набор данных для обучения. Это также известно как очистка данных . После обнаружения аномальных образцов классификаторы удаляют их, однако иногда поврежденные данные все еще могут предоставить полезные образцы для обучения. Распространенным методом поиска подходящих образцов для использования является определение зашумленных данных . Один из подходов к поиску зашумленных значений - создание вероятностной модели на основе данных с использованием моделей неповрежденных и поврежденных данных.

Ниже приведен пример набора данных о цветке ириса с добавленной аномалией. С включенной аномалией алгоритм классификации может испытывать трудности с правильным поиском закономерностей или сталкиваться с ошибками.

Если удалить аномалию, обучение будет легче находить закономерности в классификациях.

В интеллектуальном анализе данных многомерные данные также будут предлагать сложные вычислительные задачи с очень большими наборами данных. Удалив многочисленные образцы, которые могут оказаться неуместными для классификатора или алгоритма обнаружения, время выполнения может быть значительно сокращено даже для самых больших наборов данных.

Программное обеспечение

• ELKI - это набор инструментов для интеллектуального анализа данных Java с открытым исходным кодом, который содержит несколько алгоритмов обнаружения аномалий, а также ускорение индексации для них.
• Scikit-Learn - это библиотека Python с открытым исходным кодом, в которой есть встроенные функции, обеспечивающие неконтролируемое обнаружение аномалий.

Наборы данных

• Репозиторий эталонных данных по обнаружению аномалий с тщательно подобранными наборами данных Мюнхенского университета Людвига-Максимилиана ; Зеркало в университете Сан-Паулу .
• ODDS - ODDS: большая коллекция общедоступных наборов данных обнаружения выбросов с достоверной информацией в различных областях.
• Бенчмарк неконтролируемого обнаружения аномалий в Harvard Dataverse: наборы данных для неконтролируемого обнаружения аномалий с достоверной достоверностью данных.
• Хранилище данных KMASH в Research Data Australia, содержащее более 12 000 наборов данных по обнаружению аномалий с достоверными данными .

Смотрите также

• Обнаружение изменений
• Статистическое управление процессами
• Обнаружение новинок
• Иерархическая временная память

использованная литература