Базовая математическая модель нейронной сети глубокого обучения для диагностики элементов нейронной сети

Введение

Сложность ГСДО затрудняет их отладку. Неисправности элементов снижают производительность. Для решения этой проблемы, основываясь на фундаментальных трудах в области глубокого обучения (Goodfellow et al., 2016 [1]), представлена математическая модель для диагностики неисправностей на уровне элементов сети.

Цель исследования

Разработка и анализ базовой математической модели ГСДО для диагностики элементов.

   Математическая модель нейронной сети глубокого   обучения

 Модель включает: нейрон, слои, связи (матрица *W*), функции активации (Sigmoid, ReLU, TanH). Работа ГСДО, как описано в (Bishop, 2006 [2]), – последовательность прямого и обратного распространения.

Моделирование неисправностей элементов нейронной сети

Рассмотрены неисправности:

• Нейронов:, изменение функции активации.

• Весов: Обрыв, дрейф, искажение.

Вероятности неисправностей:  величина дрейфа.

Диагностическая модель на основе математической модели ГСДО

Диагностика: анализ выходного сигнала при внесении неисправностей. Этапы: тестовые данные, внесение неисправностей, прогон, сравнение с эталоном, локализация. Метод: анализ чувствительности. Подходы к отказоустойчивости и тестированию нейронных сетей, как предложено в (Teixeira et al., 2000 [4]; Wey & Chang, 1999 [5]), были учтены при разработке диагностической модели.

Экспериментальные результаты и анализ

Эксперименты на MLP (MNIST). Метрики: точность, полнота, ложноположительная частота. Результаты: высокая точность диагностики stuck-at, эффективность снижается с ростом шума, анализ чувствительности эффективен.

Модель машинного обучения может быть представлена в виде нейронных сетей, состоящей из следующих величин и функций:

1. Веса связей w – коэффициент, масштабирующий сигнал, который поступает нейрону.

2. Смещения    – скалярная величина, прибавляемая к входному сигналу, основная задача которой – активация нескольких узлов вне зависимости от уровня сигнала.

3. Функции активации   – такая функция, которая управляет поведением нейрона, соответственно, обучением всей нейронной сети.

Существует большое количество моделей функций активации, основные из них:

1. Функция единичного скачка, математическая запись которой выглядит следующим образом:

(1)

Выходной сигнал некоторого нейрона   представлен следующей математической зависимостью:

(2)

Где   - локальное индуцированное поле, выраженное также математической зависимостью:

(3)

Эта модель называется моделью Мак-Каллока-Питца. Она является логистической, и определяется свойством «все или ничего»: если входной сигнал принимает значение 1, то линейное индуцированное поле не отрицательно, если 0 – в противном случае.

2. Кусочно-линейная функция, описанная следующим выражением:

(4)

Формулу можно рассматривать как аппроксимацию нелинейного усилителя сигнала, которая имеет 2 вида кусочно-линейной функции:

А) если линейная область не достигает порога насыщения, то она является линейным сумматором;

Б) если коэффициент усилителя сигнала – бесконечно большое значение, то данная функция вырождается в пороговую.

3. Сигмоидальная функция, вид которой отдаленно похож на букву «S», является наиболее распространенной. Она способна охватывать больший диапазон значений, чем две предыдущие и лучше поддерживает баланс между линейным и нелинейным поведением.

Область охватываемых значений у формул (1) и (4) – отрезок от 0 до +1. Однако требуется такая функция активации, которая охватывает область значений от -1 до +1. Тогда, функция имеет симметрию относительно координат, и, следовательно, она является нечетной функцией линейного индуцированного поля, выраженная следующим образом:

(5)

В данном случае сигмоидальная функция имеет вид гиперболического тангенса:

(6)

Который обеспечивает рядом преимуществ.

Необходимость увеличения производительности труда, в частности технической диагностики датчиков, снижения сложности и затрат работ, требуют разработки новых методов. Одним из самых переспективных является метод диагностики на основе алгоритмов машинного обучения.

Заключение

 Представлена математическая модель для диагностики неисправностей в элементах ГСДО. Метод показал эффективность на MNIST. Дальнейшие исследования: расширение модели, улучшение алгоритмов локализации, применение к другим архитектурам.