Интегрированная IDS/IPS модель между открытым источником с улучшением машинного обучения

I. ВВЕДЕНИЕ

В настоящее время компьютерные сети всегда были первой целью группы хакеров для контроля атаки, кражи конфиденциальной информации организации или просто для достижения цели саботажа, чтобы остановить систему доставки услуг. Для того, чтобы быстро обнаруживать и предотвращать эти нежелательные атаки, существует множество решений. Модель многоуровневой защиты имеет многоуровневую систему защиты сети, в которой есть компоненты для участия и поддержки друг друга, такие как система обнаружения вторжения в сеть IDS/IPS, система межсетевого экрана, система мониторинга сети, антивирусная система...

Системы IDS/IPS используются для обнаружения аномалий в сети посредством прослушивания и обработки пакетов в сетевой среде, данные, собранные из IDS, будут объединены. Подходит для специализированных систем обработки журналов или систем мониторинга сети, чтобы иметь возможность выдавать предупреждения и предотвращать проблемы в сети на ранних этапах. Механизм обнаружения системы IDS/IPS в основном основан на особых признаках известных угроз или на сравнении сетевого трафика с базовыми пороговыми значениями для обнаружения отклонений в сети. , Поэтому выбор базового значения также определяет точность системы IDS при обнаружении сетевых атак.

В настоящее время исследовательские группы начали использовать алгоритмы машинного обучения и глубокого обучения для применения в системах IDS для повышения эффективности и точности обнаружения сигналов атаки в сети. Для проведения исследований и обучения машинному обучению используются такие наборы данных, как KDD Cup 1999, NSK KDD, CIDDS-001 [1]. Соответственно, свойства пакетов будут проанализированы на основе спецификаций наборов данных, а затем переданы в функцию обработки для оценки безопасности или опасности пакетов.

В содержании статьи будет предложена интеллектуальная модель IPS/IDS, поскольку интеграция системы IDS/IPS в брандмауэр в сочетании с методом машинного обучения принесет новую модель IDS/IPS с возможностью изучения и обнаружения меток. Ненормальный сигнал в сети из-за обработки большого количества пакетов.

II. НЕКОТОРЫЕ ТРАДИЦИОННЫЕ МОДЕЛИ IDS/IPS

2.1. Модель использует открытый исходный код

Существует много коммерческих программ IDS/IPS, таких как McAfee NSP, Trend Micro TippingPoint, Hillstone NIPS, NSFocus NGIPS, Cisco Firepower NGIPS, которые разработаны в соответствии с решениями для нового поколения и интегрируются с в качестве устройства брандмауэра. В зависимости от размера сети малые и средние компании могут использовать решение Unified Threat Management (UTM), или для крупных компаний подойдет решение межсетевых экранов нового поколения (NGFW). больше подходит. В дополнение к коммерческим решениям в настоящее время широко используются системы с открытым исходным кодом IDS / IPS из-за их стоимости и производительности, а также функций, которые не уступают любому коммерческому программному обеспечению [1-5]. Двое из них – это Snort и Suricata.

а. Использование Snort

Snort – это система IDS с открытым исходным кодом, широко используемая сегодня в сетях благодаря простоте установки и настройки. Принцип действия Snort заключается в обнаружении аномальных признаков на основе доступных паттернов и выражается в форме правил (рис. 1). Snort может обнаруживать сетевые атаки в режиме реального времени. Однако Snort может эффективно противостоять атакам только при появлении признаков атаки. Для ранее неизвестных атак устройство сетевого мониторинга Snort трудно обнаружить.

Рис. 1. Архитектура системы Snort IDS

б. Использование Suricata

Suricata – это основанная на законе система обнаружения и блокировки злоумышленников (рис. 2). С возможностью запуска многопоточности Suricata также использует захваченные в настоящий момент сообщения, и анализ пакетов очень силен, поэтому скорость обработки сетевого трафика и производительность этого устройства очень высоки. В дополнение к выдающейся аппаратной эффективности, этот инструмент создан с учетом высокой вычислительной мощности, обеспечиваемой новейшими многоядерными процессорами ЦП (рис. 3).

Рис. 2. Архитектура Suricata

Рис. 3. Многопоточная операционная архитектура Suricata

2.2. Интегрированная модель на устройстве

Хотя системы обнаружения вторжений, основанные на наборах с открытым исходным кодом, таких как Snort или Suricata, работают достаточно хорошо, практические и сложные потребности в новых, сложных и сложных атаках хорошо известны. хакер. Исследователи постоянно ищут новые или улучшенные вещи для создания лучших систем.

В работе [6], команда Юй-Синь Дина предложила построить систему IDS с комбинацией многих методов обнаружения вторжений, включая: ложное обнаружение, Аномальное обнаружение и на основе сигналов. Эта система IDS была разработана на основе Snort, вместо того чтобы использовать метод обнаружения вторжения в сеть, это исследование объединяет до трех методов для достижения максимальной эффективности. Кроме того, авторы использовали ряд алгоритмов для генерации выборок сигналов на основе взломов, обнаруженных системой обнаружения аномалий, которая, в свою очередь, соответствует правилам Snort.

Команда Abhishek Mitra [7] изучила ускорение скорости обработки системы IDS Snort, создав аппаратный модуль, который помогает переводить PCRE в FPGA. Каждое правило Snort теперь будет переведено в регулярное выражение, уникальное для PCRE. Когда система работает, количество законов и правил, которые необходимо скомпилировать, очень велико, поэтому обработка большого количества пакетов будет зависеть от производительности системы. Исследовательская группа придумала модель, использующую аппаратное обеспечение Virtex-4 LX200 FPGA для преобразования регулярных выражений. Благодаря скорости сетевого интерфейса 12,9 Гбит/с разработанная группой система увеличила скорость обработки в 353 раза по сравнению с программным обеспечением на основе PCRE.

 III. ПРЕДЛОЖИТЬ УМНУЮ МОДЕЛЬ IDS / IPS

Преимущество систем IDS с открытым исходным кодом состоит в том, что они позволяют сэкономить на затратах на лицензирование программного обеспечения, но только часть правил обнаружения атак предоставляется бесплатно, а остальные должны платить. если вы хотите использовать расширенные и блокирующие функции, обнаружите более сложные формы сетевых атак. Кроме того, система должна поддерживать единую базу данных, в которой регулярно собираются и обновляются шаблоны и законы, когда появляется новая форма или методика проникновения. быть обнаруженным.

Другими словами, система должна изучать и контролировать работу системы в нормальных условиях для записи эксплуатационных параметров, что является основой для обнаружения отклонений в будущем. Быстрое развитие Интернета вещей – Интернет вещей облегчает жизнь, улучшается взаимосвязь людей. Тем не менее, это развитие также приводит к увеличению угроз кибербезопасности. Как только киберпространство достигает своего полного состояния, оно становится целью атак хакеров в различных формах. Таким образом, встроенная система IDS/IPS станет довольно пассивной с новыми типами атак. Новые решения необходимы для решения этой проблемы.

Основываясь на этих очень практических требованиях, команда создала систему IDS, основанную на машинном обучении, самообучении и интеллектуальном рассуждении, когда новые атаки основаны на собранных наборах данных. получить и проверить набор данных.

3.1. Предлагаемая модель

Интеллектуальная система IDS состоит из двух частей: ядро системы основано на IDS с открытым исходным кодом, при обслуживании и обновлении набора правил обнаружения атак будет использоваться машинное обучение.

Рис. 4. Предлагаемая модель системы IDS / IPS

Система должна быть построена для стабильной работы, поддерживая основные функции IDS, такие как Snort или Suricata. Сетевой трафик может достигать 3-4 Гбит / с при прохождении сетевых интерфейсов этой системы обнаружения вторжений. Обработка очень больших объемов пакетов в реальном времени также станет проблемой для системы. Кроме того, система будет захватывать проходящие сетевые пакеты для анализа информации, строить функцию обработки на основе выбранного набора данных, из которого можно определить возможность взлома. система и реализовать закон для IDS для предотвращения или устранения таких вредоносных пакетов.

3.2. Компоненты модели

Система IDS / IPS имеет архитектуру из 2 модулей:

• Основной модуль использует решение Suricata для выполнения начальной функции фильтрации пакетов в качестве законченной системы IDS.
• Модуль машинного обучения будет интегрирован в основной модуль, решение под названием IDPITI (наш компонент), разработанное исследовательской группой на основе метода машинного обучения с использованием обученного набора данных.

Основной модуль будет выполнять фильтрацию верхнего уровня для удаления пакетов, которые считаются опасными в соответствии с набором правил, предоставленных устройством IDS. В модуле машинного обучения мы используем набор данных KDD99, разработанный лабораторией DARPA. KDD99 состоит из наборов обучающих и тестовых данных, сгенерированных лабораторными генераторами пакетов путем обработки данных TCPDUMP, собранных в течение 7 недель с помощью системы обнаружения вторжения DARPA 1998 года. Обучающие данные имеют 4 898 431 запись, каждая из которых имеет 41 атрибут (тип протокола, сервис и флаг) и помечена как нормальная или корректная атака с определенным типом атаки. Благодаря машинному обучению, которое способно анализировать, понимать и выявлять отклонения, возникающие в системе, исследовательская группа сможет разрабатывать наборы законов, которые подходят для конкретных ситуаций атаки.

Вход для модуля машинного обучения является атрибутом анализируемых пакетов, что является довольно сложной задачей.

3.3. Проблема производительности системы

Поскольку система должна выполнять обработку для каждого прохождения пакета, тогда вычислите свойства, которые должны быть переданы в функцию обработки машинного обучения. Поэтому производительность устройства – очень важная проблема, требующая внимания. Поскольку в то же время объем сетевого трафика, поступающего в устройство, может поступать от множества различных интерфейсов сетевых карт, обработка устройства может возрастать в геометрической прогрессии.

Рис. 5. Трафик, проходящий через сетевые порты

Чтобы повысить скорость обработки пакетов, мы предлагаем интеграцию с графическим процессором для распараллеливания анализа пакетов. Кроме того, механизм работы таких IDS, как Suricata или Snort, основан на сравнении выборок, на которые приходится 75% процессорной обработки. При распараллеливании этого сопоставления с образцом на устройстве производительность значительно возрастет по сравнению только с использованием процессора.

В исследовании [8], авторы успешно исследовали и протестировали модель приложения GPU в системе IDS Snort. Пакеты будут собираться и временно сохраняться в буфере центральным процессором, когда заполненные будут загружаться в графический процессор в соответствии с пакетом (рис. 6).

Рис. 6. Архитектура Gnort

На графическом процессоре обработка образцов будет выполняться параллельно, в зависимости от конфигурации устройства и количества ядер графического чипа. Результаты обработки в графическом процессоре после завершения будут возвращены в центральный процессор для передачи в модуль вывода.

IV. ДОСТОИНСТВА И НЕДОСТАТКИ ПРЕДЛАГАЕМОЙ СИСТЕМЫ

Система IDS/IPS, предложенная исследовательской группой, обладает тем преимуществом, что унаследовала расширенные функции, которые были у системы IDS/IPS, такие как Suricata, такие как многопоточная обработка, богатые правила, простота настройки и поддержки. Много разных аппаратных устройств. Кроме того, с разработкой модуля машинного обучения нам удалось улучшить ручное построение правил IDS, система может создавать новые правила для реагирования на новые способы атаки. хакер в будущем.

Тем не менее, предлагаемая система все еще имеет неполные моменты, такие как: набор данных KDD99 был построен в течение длительного времени, не так много обновлений, новые формы атаки не были добавлены, вредоносные наборы данных использовались для Модель обучения все еще не завершена, не хватает точности. Мы изучим улучшения, используя более продвинутые тестовые наборы данных, такие как NSL-KDD, UNSW-NB15.

V. ЗАКЛЮЧЕНИЯ ДАЛЬНЕЙШИЕ НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ

В контексте статьи мы представили интеллектуальную модель системы IPS/IDS, которая сочетает в себе машинное обучение с разработкой дополнительных обновлений перед новыми сетевыми атаками для улучшения системы передачи IDS. система и встроенный графический процессор для ускорения обработки пакетов. Система также должна улучшить другие функции, чтобы быть более полной, кроме того, сопоставление с образцом, выполняемое в IDS, также является трудоемкой и ресурсоемкой проблемой. В дальнейшем мы будем изучать вопрос повышения производительности системы в процессе обработки и сопоставления образцов.

Для проведения этого исследования, мы благодарны поддержке проекта кода 01/2018/KCM, а также поддержке проекта кода QCT19.01.