Основной технологией, используемой в сетевой безопасности, промышленной эксплуатации и обслуживании, является мониторинг аномалий нейронной сети. Он использует алгоритмы для независимого изучения нормальных закономерностей и может выявлять аномальное поведение, отклоняющееся от ожидаемых условий. В сценариях с большими объемами данных и сложными правилами этот метод более эффективен и точен, чем традиционный пороговый метод, и постепенно становится важным инструментом обеспечения стабильности системы.
Почему нейронные сети подходят для обнаружения аномалий
Мощь нейронной сети отражается в ее способности к обучению представлению. Он может автоматически извлекать сложные функции и закономерности из больших и огромных объемов данных нормальной эксплуатации для построения высокоуровневой «нормальной базовой линии». Этот процесс не требует предварительного определения правил вручную и особенно подходит для обработки неструктурированной информации, такой как журналы и данные временных рядов датчиков.
После того, как обучение модели достигнет состояния завершения, оно создаст математическое понимание «нормального состояния». Любые входные данные будут отображены в это многомерное пространство для расчета их расстояния от «нормального кластера» или ошибки реконструкции. Образцы с отклонениями, превышающими определенный порог, будут расцениваться как потенциальные аномалии. Такой подход, основанный на данных, значительно снижает зависимость от опыта экспертов в предметной области.
Как выбрать модель нейронной сети для обнаружения аномалий
Характеристики данных и цели обнаружения определяют выбор модели. Для данных временных рядов, таких как трафик сервера или сигналы вибрации оборудования, обычно используются сети с длинной краткосрочной памятью, а именно LSTM и автокодировщики. LSTM хорошо фиксирует долгосрочные зависимости во временных рядах, а автоэнкодеры предназначены для изучения сжатых представлений данных и обнаружения аномалий путем сравнения входных и восстановленных выходных ошибок.
Для более сложных систем, таких как промышленный Интернет вещей, графовые нейронные сети или GNN начинают проявлять ценность. Он может моделировать отношения топологического соединения между устройствами и датчиками. Он может не только обнаруживать аномалии в одном узле, но также находить аномальные закономерности, распространяющиеся в сети. Гибридные модели, такие как комбинация сверточных нейронных сетей и автокодировщиков, часто используются для обработки данных пространственных измерений.
Как построить модель, когда данных для обучения недостаточно
В реальных промышленных условиях чрезвычайно сложно собрать большое количество маркированных аномальных образцов. В такие моменты основным решением становится обучение без присмотра или полуконтроля. Просто используйте большой объем «нормальных» данных для обучения модели, чтобы она могла изучить распределение нормальных закономерностей. Любая точка данных, которая не соответствует этому распределению, может считаться аномалией.
Другая идея состоит в том, чтобы использовать единую машину опорных векторов классификации, то есть OC-SVM, или использовать метод глубокой одиночной классификации. Цель этих моделей не в том, чтобы различать несколько категорий, а в том, чтобы провести четкую границу для категории «нормальный». В этом сценарии также можно применять генеративно-состязательные сети, также известные как GAN, используя генератор для изучения распределения нормальных данных, а затем используя дискриминатор, чтобы определить, «сгенерированы» ли входные данные для выявления аномалий.
Каковы распространенные сценарии применения обнаружения аномалий нейронной сети?
В области финансовых технологий он отслеживает потоки транзакций в режиме реального времени и может точно выявлять аномальную финансовую деятельность, такую как мошеннические транзакции и отмывание денег. По сравнению с системами, основанными на правилах, модели нейронных сетей могут адаптироваться к новым методам мошенничества, и уровень ложных срабатываний значительно снижается.
Для промышленного профилактического обслуживания путем анализа многомерных данных временных рядов, таких как температура, вибрация и шум, загружаемых датчиками оборудования, нейронные сети могут выявлять тонкие тенденции снижения производительности за несколько часов или даже дней до отказа оборудования, а затем заранее развертывать техническое обслуживание, чтобы предотвратить незапланированные простои. Предоставляйте глобальные услуги по закупкам слабых текущих интеллектуальных продуктов!
Как оптимизировать модель с высоким уровнем ложных срабатываний
Высокие показатели ложных тревог часто вызваны слишком строгим определением в модели «нормальных» границ или тем, что обучающие данные не включают все нормальные варианты. При оптимизации данные обучения необходимо сначала перепроверить и очистить, чтобы убедиться, что они чисты и охватывают все нормальные рабочие состояния и условия работы. Внедрена технология улучшения данных для искусственного синтеза большего количества вариантов обычных данных, что помогает модели изучить более надежные функции.
Если уровень является модельным, порог определения отклонения от нормы можно регулировать. Вообще говоря, существует деловой баланс между скоростью отзыва (обнаружения всех аномалий) и степенью точности (большинство зарегистрированных аномалий являются реальными аномалиями). Интеграция нескольких моделей обнаружения аномалий с различными принципами и использование механизма голосования для вынесения комплексных решений также является эффективной стратегией снижения уровня ложных срабатываний одной модели.
Как постоянно отслеживать и обновлять после развертывания
Развертывание модели не является конечной точкой. Необходимо создать цикл непрерывного мониторинга для отслеживания прогнозируемых показателей эффективности модели, таких как точность и задержка ответа. В то же время необходимо создать ручной канал обратной связи для включения ложноположительных и ложноотрицательных результатов, подтвержденных эксплуатационным и обслуживающим персоналом, в пул данных для следующего раунда переобучения модели.
Регулярно используйте вновь созданные нормальные данные для проведения дополнительного обучения или точной настройки модели, чтобы адаптироваться к медленному развитию самой системы, например, к старению оборудования и росту бизнеса. Если внезапно появляется новая нормальная закономерность, например, обновление основной версии программного обеспечения, необходимо начать полный процесс переобучения модели, чтобы обеспечить постоянную эффективность обнаружения.
Для работы, которой вы занимаетесь, или области, которая вас интересует, какое звено, по вашему мнению, наиболее срочно необходимо для использования технологии обнаружения аномалий нейронной сети для повышения эффективности или повышения безопасности? Надеюсь, вы поделитесь своими мыслями в комментариях. Если эта статья вас вдохновила, вы также можете поставить ей лайк и переслать ее.
Добавить комментарий