Обнаружение аномалий, включая нейронные сети, является основным инструментом, на который опираются современные информационные технологии для эксплуатации, обслуживания и обеспечения безопасности. Он основан на изучении шаблонов данных, представленных при нормальной работе системы, и может автоматически выявлять отклонения, не соответствующие ожиданиям. Или ненормальное поведение, и оно широко используется во многих областях, таких как контроль финансовых рисков, профилактическое обслуживание промышленного оборудования и обнаружение вторжений в сетевую безопасность. По сравнению с традиционным методом работы, основанным на правилах, он более способен адаптироваться к сложным и постоянно меняющимся реальным условиям.
В чем заключается основной принцип обнаружения аномалий нейронной сети?
Ключом к обнаружению аномалий нейронной сети является построение модели данных, которая может отображать «нормальные» условия. В период обучения модель обращается только к нормальным данным, чтобы изучить их характеристики и распределение. В течение периода обнаружения в модель вводятся данные в реальном времени. Если данные отклоняются от изученного нормального шаблона за пределами определенного порога, они будут отмечены как аномалия. Этот метод не опирается на предварительное знание известных аномалий.
Среди распространенных моделей — автоэнкодеры, которые изучают основные функции путем сжатия и восстановления данных. Во время реконструкции ошибка нормальных данных невелика, но аномальные данные порождают более крупные ошибки реконструкции. Существует также рекуррентная нейронная сеть, которая подходит для обработки данных временных рядов. Он основан на прогнозировании данных в следующий момент времени и определении аномалий на основе отклонений прогноза.
Почему традиционные методы обнаружения правил имеют ограниченную эффективность
Традиционный метод в основном опирается на различные организованные правила в форме «если-то», выработанные экспертным опытом. Например, в сценарии мониторинга и управления серверами установлен иерархический план: предпосылка состоит в том, что когда уровень использования ЦП превышает 95%, это будет расцениваться как нештатная ситуация. Этот подход является кратким и ясным. Однако, столкнувшись с системной средой, которая имеет сложные элементы, представляет ситуацию нелинейных изменений и постоянно развивается, библиотека, используемая для хранения организационных правил, станет чрезвычайно большой, а сложность ее обслуживания станет чрезвычайно высокой, что легко приведет к большому количеству ложных срабатываний и ложных отрицаний.
Что еще более важно, многие аномалии представляют собой беспрецедентные новые атаки или сложные неисправности, а их формы не подпадают под действие каких-либо существующих правил. Традиционные методы с этим справиться не могут. Нейронные сети могут улавливать тонкие закономерности корреляции, которые людям трудно определить на основе больших объемов данных, тем самым обнаруживая потенциальные неизвестные угрозы.
Какие типы нейронных сетей обычно используются для обнаружения аномалий
В дополнение к автокодировщикам и рекуррентным нейронным сетям, упомянутым ранее, потенциал демонстрируют также генеративно-состязательные сети. GEN используют конкуренцию между генератором и дискриминатором, чтобы понять распределение данных. Дискриминатор можно использовать для оценки вероятности принадлежности входных данных реальному обучающему распределению, а затем для выявления аномалий. Сети глубокого доверия имеют преимущества при обработке многомерных неструктурированных данных (таких как изображения, текст журнала).
Какую сеть выбрать, зависит от конкретного сценария. Для данных временных рядов промышленных датчиков LSTM — это сеть с длинной краткосрочной памятью, которая является распространенным выбором. Для обнаружения вредоносного поведения в сетевом трафике может потребоваться объединение CNN или сверточной нейронной сети для обработки характеристик пакетов данных. Не существует одной сети, подходящей для всех ситуаций. Главное – соответствовать характеристикам проблемы.
Как подготовить обучающие данные для обнаружения аномалий
Ведь именно качество данных напрямую определяет верхнюю границу модели. Первый принцип, которому следует следовать, заключается в том, что обучающий набор должен быть максимально чистым и охватывать только обычные данные. В реальных ситуациях это сложная задача, требующая тщательной очистки и аннотирования данных. Для тех данных, в которых сложно полностью исключить аномалии, можно использовать полуконтролируемые или слабоконтролируемые методы обучения. Предварительная обработка данных включает в себя нормализацию, обработку пропущенных значений и разработку функций для преобразования исходных данных в формат, который модель может эффективно изучить.
Еще одним ключевым моментом является репрезентативность и своевременность данных. «Нормальное» состояние системы имеет свойство дрейфовать во времени. Поэтому данные обучения необходимо регулярно обновлять. В противном случае модель должна иметь возможность обучаться онлайн, чтобы адаптироваться к новым нормам. Статическая модель быстро выйдет из строя в динамической среде.
Каковы основные проблемы, с которыми сталкивается обнаружение аномалий нейронными сетями?
Основная проблема заключается в нехватке этикеток. Частота возникновения аномальных событий в реальных ситуациях находится на низком уровне. При этом стоимость маркировки чрезвычайно высока. Эта ситуация ограничивает применение контролируемого обучения. Во-вторых, это проблема баланса ложноположительных ставок. Слишком большое количество ложных срабатываний вызовет «утомление бдительности», что приведет к игнорированию реальных угроз. Если они слишком низкие, могут возникнуть ложноотрицательные результаты. Регулировка порога обнаружения требует поиска баланса между бизнес-толерантностью.
Еще одна нерешенная проблема заключается в том, что модели трудно интерпретировать. Обычно нейронную сеть рассматривают как «черный ящик». В этом случае, как только будет установлено, что событие является аномалией, персоналу по эксплуатации и техническому обслуживанию будет сложно узнать точную причину, что затрудняет поиск и устранение неисправностей и принятие решений. Поэтому исследования объяснимых методов искусственного интеллекта очень важны для содействия внедрению этой технологии.
Как внедрить системы обнаружения аномалий в реальном бизнесе
Развертывание — это не просто размещение модели в сети, а систематический проект, требующий построения полного конвейера, начиная от сбора данных и обработки в реальном времени до вывода модели и распределения сигналов тревоги. Модели необходимо развертывать на серверах или периферийных устройствах, а их производительность должна соответствовать требованиям, обеспечивающим низкую задержку. , net предоставляет глобальные услуги по закупкам слабых текущих интеллектуальных продуктов и может обеспечить поддержку от аппаратного обеспечения до интеграции для создания такой инфраструктуры.
После того как система подключена к сети, важно продолжать следить за ее производительностью. Необходимо установить показатели оценки, такие как точность и полнота, а для проверки необходимо регулярно использовать новые данные. Когда производительность модели снижается или изменяются бизнес-сценарии, необходимо инициировать переобучение модели и итеративные обновления. Только путем интеграции системы обнаружения с существующей системой заказов на работу и процессом реагирования можно сформировать замкнутый цикл от обнаружения до утилизации.
Что касается вашей реальной работы, следует ли вам больше сосредоточиться на точности обнаружения аномалий, чтобы уменьшить количество ложных срабатываний, или вам следует больше сосредоточиться на ее охвате, чтобы гарантировать отсутствие ложноотрицательных результатов. Добро пожаловать, чтобы поделиться своим опытом и идеями в области комментариев. Если эта статья оказалась для вас полезной, поставьте ей лайк и поделитесь ею со своими коллегами, которые работают вместе.
Добавить комментарий