Главная
АИ #14 (249)
Статьи журнала АИ #14 (249)
Проблематика формирования безопасных наборов обучающих данных для систем искусст...

Проблематика формирования безопасных наборов обучающих данных для систем искусственного интеллекта

Рубрика

Информационные технологии

Ключевые слова

безопасные наборы данных
искусственный интеллект
военные системы
синтетические данные
генеративно-состязательные сети (GAN)
кибербезопасность
этико-правовые ограничения
валидация данных
децентрализованное хранение
смещение выборки
гомоморфное шифрование
криптографические методы
проекты Maven и EDIDP
федеративное обучение
регулирование ИИ

Аннотация статьи

Статья посвящена исследованию проблем формирования безопасных наборов обучающих данных для систем искусственного интеллекта, применяемых в военной сфере. Рассмотрены ключевые аспекты, включая требования к конфиденциальности, точности и репрезентативности данных.

Текст статьи

Современные системы искусственного интеллекта применяются для анализа разведывательных данных, управления автономными боевыми роботами, прогнозирования поведения противника и других задач. Однако эффективное применение этих систем требует высокой степени безопасности обучающих данных, что вызывает ряд серьезных проблем. Формирование безопасных, репрезентативных и этически корректных наборов данных связано с конфиденциальностью, разнообразием сценариев и рисками их изменения.

Системы с искусственным интеллектом функционируют в условиях предположительно высокой неопределенности и ответственности. Их задачи включают:

  • распознавание целей (например, дифференциация гражданских и военных объектов);
  • стратегическое планирование (анализ логистики, прогнозирование действий противника);
  • управление автономным оружием (дроны, роботизированные системы);
  • обработка больших наборов данных, позволяющих модели эффективнее выявлять закономерности.

В качестве основных проблем в сфере безопасности систем с искусственным интеллектом можно выделить следующие:

  • использование недостоверных или заведомо искаженных данных для обучения алгоритмов обработки данных в системах с искусственным интеллектом;
  • присутствие непреднамеренных ошибок в алгоритмах обработки данных в системах с искусственным интеллектом;
  • необходимость применения доверенных аппаратно-программных платформ для реализации алгоритмов обработки данных в системах с искусственным интеллектом;
  • необходимость защиты систем с искусственным интеллектом от деструктивных атак.

Исходя из вышеизложенного, основные направления обеспечения безопасности применения технологий искусственного интеллекта являются:

  • создание доверенного программного обеспечения для разработки безопасных и функционально эффективных решений в области искусственного интеллекта по единым открытым стандартам;
  • разработка требований информационной безопасности в отношении технологий искусственного интеллекта;
  • создание системы оценки соответствия технологий искусственного интеллекта требованиям законодательства Российской Федерации, в том числе в области информационной безопасности;
  • обеспечение информационной безопасности при разработке, внедрении и использовании технологий искусственного интеллекта.

В данной статье исследуются ключевые проблемы создания таких наборов данных и предлагаются пути их решения.

Сформируем требования к данным:

  • конфиденциальность – данные часто содержат секретную информацию;
  • точность – ошибки в данных могут привести к необратимым последствиям (например, ложное распознавание цели);
  • репрезентативность – наборы должны охватывать редкие, но критические сценарии (кибератаки, нестандартные тактики противника).

Проблематика формирования безопасных данных заключается в следующих аспектах:

1. Качество и достоверность данных:

  • шумы и ошибки – данные с поля боя часто содержат помехи (например, искаженные изображения из-за погодных условий);
  • смещение выборки – перекос в данных (например, преобладание информации о конкретном типе вооружений) ведет к некорректным решениям модели искусственного интеллекта;
  • устаревание информации – быстрое изменение тактик противника требует постоянного обновления данных.

2. Этико-правовые ограничения:

сбор данных может нарушать международное право (например, использование информации, полученной в ходе несанкционированной слежки);

проблема анонимизации – данные о местоположении или поведении гражданских лиц трудно отделить от военной информации. 

3. Угрозы кибербезопасности:

  • атаки на данные – внедрение специально измененных созданных данных, искажающих работу ИИ;
  • утечки – риск компрометации данных через уязвимости в цепочке поставок.

4. Дефицит релевантных данных:

  • редкие события (например, применение ядерного оружия) невозможно смоделировать на основе исторических данных.

Для решения вышеуказанных задач формирования безопасных наборов данных для систем искусственного интеллекта можно использовать следующие методы:

1. Генерация синтетических данных:

  • использование цифровых двойников и симуляций для моделирования экстремальных сценариев (например, платформа DARPA SIGMA);
  • GAN (Generative Adversarial Networks) сети для создания изображений и сценариев, близких к реальным.

2. Валидация и очистка данных:

  • внедрение многоуровневой системы проверки с участием экспертов;
  • алгоритмы обнаружения аномалий (например, Isolation Forest).

3. Защита данных:

  • криптографические методы (гомоморфное шифрование);
  • децентрализованное хранение (блокчейн).

Примеры реализации таких подходов уже существует, вот некоторые из них:

Проект Maven (США) – использование ИИ для анализа спутниковых снимков. Проблема: смещение данных в пользу конкретных географических регионов. Решение: дополнение набора синтетическими изображениями пустынных и городских ландшафтов. 

Европейская инициатива EDIDP – разработка стандартов для военных данных, включая требования к анонимизации и аудиту.

В заключении можно констатировать, что формирование безопасных обучающих наборов требует комплексного подхода, объединяющего технологии, право и этику. Без решения проблем угроз данным, даже самые совершенные алгоритмы искусственного интеллекта могут стать источником рисков, а не преимуществ.

Поделиться

153

Ильин К. А., Уваров А. Л., Симаков М. Н. Проблематика формирования безопасных наборов обучающих данных для систем искусственного интеллекта // Актуальные исследования. 2025. №14 (249). Ч.I. С. 26-28. URL: https://apni.ru/article/11684-problematika-formirovaniya-bezopasnyh-naborov-obuchayushih-dannyh-dlya-sistem-iskusstvennogo-intellekta

Обнаружили грубую ошибку (плагиат, фальсифицированные данные или иные нарушения научно-издательской этики)? Напишите письмо в редакцию журнала: info@apni.ru

Похожие статьи

Другие статьи из раздела «Информационные технологии»

Все статьи выпуска
Актуальные исследования

#16 (251)

Прием материалов

19 апреля - 25 апреля

осталось 7 дней

Размещение PDF-версии журнала

30 апреля

Размещение электронной версии статьи

сразу после оплаты

Рассылка печатных экземпляров

14 мая