Совмещение этапов параметрической идентификации и оптимизации динамических процессов

Введение

Современные технологические и инженерные системы характеризуются возрастающей сложностью, высокой степенью нелинейности и наличием неопределённостей, обусловленных как внешними возмущениями, так и изменением внутренних параметров объектов управления. В таких условиях обеспечение требуемого качества автоматизированного управления напрямую зависит от адекватности используемых математических моделей. Недостаточная точность модели приводит к снижению эффективности синтезируемых алгоритмов управления, ухудшению устойчивости и отклонению режимов функционирования от оптимальных.

При анализе и управлении технологическими процессами нередко применяются статистические подходы к построению моделей, эффективность которых обычно предполагает неизменность структуры динамики объекта на рассматриваемом интервале времени. Однако в условиях, описанных выше, задача выбора адекватного математической описания приобретает принципиальное значение. Модель, корректно описывающая объект в глобальном смысле, часто демонстрирует недостаточную точность в локальных областях пространства параметров.

Цель

Целью данной работы является разработка и исследование подхода, направленного на совместное решение задач параметрической идентификации и оптимизации управления динамической системой в рамках единой итерационной процедуры. Мы рассмотрим два варианта этой совмещенной процедуры: первый вариант предполагает исключение наблюдений, удаленных от текущей оптимальной точки, что позволяет сосредоточить идентификацию на области, наиболее значимой для формирования оптимального режима. Второй вариант использует весь доступный массив наблюдений, при этом наблюдениям присваиваются веса в зависимости от их близости к формирующемуся оптимуму.

Дополнительной целью исследования является анализ практической эффективности предложенного подхода на основе численных экспериментов, а также сравнение получаемых стратегий управления с результатами традиционного последовательного решения задач параметрической идентификации и оптимизации. Предполагается показать, что совмещенная процедура способна приводить к существенно отличающимся и более эффективным стратегиям управления по сравнению с классическим подходом.

Постановка задачи

Рассмотрим динамическую систему или некоторый технологический процесс, текущее состояние которого в момент времени определяется начальным состоянием , набором неуправляемых (нерегулируемых) параметров , значения которых заданы на начальном этапе процесса, и набором управляемых (регулируемых) параметров , определенных на всем временном промежутке .

Пусть эволюция динамического процесса описывается следующей задачей Коши:

, (1)

Где – функция, описывающая процесс соответствующий начальному состоянию , фиксированным значениям неуправляемых параметров и выбранным значениям управляемых параметров ; – вектор параметров математической модели; – множество допустимых значений параметров математической модели процесса; и – представляют собой множества допустимых значений неуправляемых и управляемых параметров соответственно; и – множество возможных начальных состояний процесса.

Пусть функционал, определенный следующим образом:

, (2)

Который необходимо минимизировать относительно , отражает качество выбранных значений управляемых параметров в зависимости от заданного начального состояния и значений неуправляемых параметров , где и – непрерывно-дифференцируемые функции, которые определяют текущие и конечные затраты процесса соответственно.

На практике динамика системы не всегда известна в явном виде; В таком случае выделяется некоторый класс параметрических моделей. Идентификация конкретной функции в рамках этого класса опирается на экспериментальные данные и производится в два этапа:

1. Структурная идентификация, которая определяет вид функциональной зависимости с точностью до вектора параметров ;
2. Параметрическая идентификация, которая оценивает численные значения этих параметров [1].

Предположим, что этап структурной идентификации – выполнен, на основе априорной информации или экспертных предположений, таким образом динамика системы аппроксимируется следующим образом:

, (3)

Где – вектор-функция, параметризованная и непрерывно-дифференцируемая по своим аргументам; – вектор параметров математической модели процесса, значения которых необходимо найти на этапе параметрической идентификации. Обратим внимание, что аппроксимация (3) может не полностью отражать реальную динамику системы.

Для оценки параметров поведение системы наблюдается при различных конфигурациях и , при этом наблюдения могут проводиться в конкретные моменты времени :

, (4)

Или, к примеру, только в начальный и конечный моменты времени и :

, (5)

Наблюдения также могут представлять собой данные временных рядов за интервалы:

, (6)

Каждому наблюдению соответствует некоторый весовой коэффициент , отражающий надежность данных. Используя такие данные, можно представить задачу параметрической идентификации как задачу минимизации функционала, к примеру, методом наименьших квадратов. В зависимости от формата наблюдения функционал принимает один из следующих видов [2]:

1. При наблюдениях вида (4):

, (7)

2. При наблюдениях вида (5):

, (8)

3. При наблюдениях вида (6):

, (9)

Здесь – решение (3) при входных параметрах и начальном условии ; – член регуляризации, обеспечивающий численную устойчивость и устраняющий некорректности в оценке [3, 4].

Следовательно, построение модели принятия решений для управления такими системами включает два основных этапа:

1. Параметрическая идентификация путем минимизации одного из функционалов , или на основе имеющихся данных;
2. Решение задачи оптимального управления (2) и (3) для фиксированной модели, определённой идентифицированными параметрами путем минимизации функционала при заданном начальном состоянии и векторе неуправляемых параметров .

Численное решение

Как задача параметрической идентификации (3–9), так и задача оптимального управления (2) и (3), относятся к категории параметрических задач оптимального управления. Таким образом, для их решения могут быть использованы устоявшиеся численной методы оптимизации, в частности, эффективные методы первого порядка. К примеру, когда множества допустимых значений параметров и – имеют простые геометрические структуры (например, сфера, параллелепипед), то очень эффективным является метод проекция градиента [5, 6, 7].

Градиентная параметрическая идентификация

Для оценки вектора параметров мы используем следующий итерационный процесс:

, (10)

Где – обозначает проекцию на допустимую область ; – шаг минимизации.

Градиент вычисляется по формуле:

, (11)

Где каждая – есть решение (3) с начальным условием ; – удовлетворяет сопряженной задаче, вид которой зависит от вида наблюдений и функционала. К примеру, для наблюдений вида (4) или (5) и для функционала (7) сопряженная задача выглядит следующим образом:

, (12)

При условии:

, (13)

Где – функция Дирака; – знак транспонирования матрицы. Для наблюдений вида (6) и для функционала (9) сопряженная задача выглядит так:

, (14)

При том же условии, что и (13), где – функция Хэвисайда, определенная как:

, (15)

Описанные выше соотношения могут быть получены либо с применением метода вариаций оптимизируемых параметров, либо посредством обращения к известным результатам из работ [5, 6, 8, 9], поскольку задачи (3–9) являются частным случаем общей постановки задачи оптимального управления.

Градиентный метод оптимального управления

После процедуры параметрической идентификации, получив оценки параметров системы , опишем процедуру решения задачи оптимального управления. Вектор оптимального управления может быть найден аналогичным методом проекции градиента:

, (16)

Где:

, (17)

Тут – решение, полученное при текущем управлении при начальном условии ; – решение сопряженной задачи:

, (18)

При условии:

, (19)

Ключевым недостатком классического двухэтапного подхода является его зависимость от единственной оценки параметров, основанной на имеющихся наблюдениях. Кроме того, при аппроксимации функции часто используются линейные или квадратичные приближения, поэтому оценочные значения траектории могут существенно отличаться от реальной траектории, особенно когда начальные состояния или параметры управления значительно изменяются в процессе наблюдений. Для решения этой проблемы предлагается единый алгоритм, объединяющий процедуры параметрической идентификации и оптимизации управления. В частности, после каждого шага оптимизации управления (16) параметры будут повторно идентифицироваться на основе данных, взвешенных по их близости к текущему контексту оптимума. В этом случае, каждому наблюдению назначаются веса обратно пропорциональные расстоянию между наблюдаемыми параметрами процесса и значениями . В таком случае функционал (7) на – ой итерации принимает вид:

, (20)

И в случае, когда и , функционал (8) принимает вид:

, (21)

Таким же образом изменяется и функционал (9). Такое локальное взвешивание обеспечивает, что оцениваемые параметры лучше отражают динамику, соответствующую текущей точке управления. В качестве весовых функций может использоваться функция следующего вида:

Тут – постоянные. При этом функции , – остаются неизменными как в процессе параметрической идентификации, так и в процессе оптимизации управления. Они становятся известными после того, как задаются начальное состояние и неуправляемые параметры . А параметры процесса будут изменяться в ходе итерационного процесса оптимизации управления (16) в силу изменения значений функции .

Замечание 1. В качестве альтернативы аддитивной форме весовой функции (22) можно использовать мультипликативную формулу: , либо любую другую функцию, монотонно убывающую по мере увеличения значений разностей , , .

Замечание 2. Альтернативная реализация стратегии совместного решения задачи параметрической идентификации и оптимизации управления заключается в исключении наблюдений, удалённых от текущих значений . В частности, на каждой итерации оптимизации управления (16) сохраняются только те наблюдения, которые находятся в пределах заранее заданного порога близости. В этом варианте реализации совместного решения весовые функции не используются, а параметрическая идентификация выполняется только на сокращённом наборе наблюдений.

В предлагаемой совмещенной модели задачи параметрической идентификации и оптимизации управления объединяются в единую задачу в следующей форме:

, (23)

Или:

, (24)

Тут – обозначают функционалы, аналогичные тем, которые были определены в (2), (20) и (21), в то время как значения – известны. Пара точек – есть решение задачи (23) или (24), к тому же она отражает тот факт, что в процессе параметрической идентификации модели большое значение придается наблюдениям в окрестности . Таким образом идентифицированная математическая модель становится «локально оптимальной» в окрестности реализуемой стратегии управления.

Для реализации описанной выше стратегии предлагается следующий алгоритм:

1. Инициализация. Для известных значений начального состояния и неуправляемых параметров для всех наблюдений вычислить значения функций и . Установить значения и .
2. Оценка параметров. Используя выражения (10–15), выполнить процедуру параметрической идентификации и получить начальную оценку параметров .
3. Оптимизация управления. Применить итерационные формулы (16–19) для получения значений вектора управляемых параметров .
4. Уточнение. Используя один шаг итерационных формул (16–19), обновить значения вектора управляемых параметров до , затем пересчитать значения весовой функции и переоценить параметры .
5. Проверка сходимости. Если , то установить и вернуться к шагу 4. Иначе завершить алгоритм, так как достигнута требуемая точность .

При реализации данного алгоритма в какой-либо системе автоматизированного управления не требуется сохранять данные математической модели процесса. Вместо этого можно сохранять данные «информационной модели» процесса, состоящую из:

1. Структуры дифференциальных уравнений (3);
2. Функционала (2);
3. Наблюдений (4), (5) или (6).

Очевидно, что предлагаемый подход требует больших вычислительных затрат по сравнению с классическим двухэтапным подходом. Однако он учитывает специфические значения начальных состояний и неуправляемых параметров в процессе оптимизации управления. В результате вышеописанной процедуры модель становится локально оптимальной в окрестности точки .

Результаты численных экспериментов

В качестве тестовой системы для исследования эффективности предложенного совмещенного подхода рассмотрим модифицированную модель Лотки-Вольтерры (хищник-жертва) с управлением. Пусть реальное поведение системы описывается следующей системой дифференциальных уравнений:

, (25)

Где – плотность популяции жертв; – плотность популяции хищников; – коэффициент рождаемости жертв; – коэффициент смертности хищников; – неуправляемый параметр среды, отражающий внешние условия, влияющие на коэффициент рождаемости жертв и коэффициент смертности хищников ; – вектор управляемых параметров, где и – доли плотностей популяций жертв и хищников соответственно, изымаемых в единицу времени; ; – длительность процесса; и .

Задача заключается в том, чтобы найти вектор управляемых параметров , который минимизирует расстояние между значениями и заданным значением , которое выражено в виде следующего функционала:

, (26)

Численным решением задачи при значениях и является вектор , который минимизирует функционал (25).

Теперь, предположим, что точный вид реального процесса неизвестен и для моделирования реального сценария, предположим, что процесс аппроксимируется следующей системой дифференциальных уравнений:

, (27)

Где – вектор неизвестных параметров.

Пусть наблюдения за состоянием системы проводятся раз при случайно выбранных значениях параметров , и , , равномерно распределенных в соответствующих допустимых множествах:

Множества выбраны как окрестности целевого режима () . Положительность диапазонов множеств и соответствует физическому смыслу задачи: обозначают плотности популяций, а – доли плотностей популяций, изымаемых в единицу времени. Для воспроизводимости численных экспериментов фиксируется начальное значение генератора псевдослучайных чисел.

Для каждого наблюдения регистрируется конечное состояние реальной системы в момент времени . Параметрическая идентификация данной модели приводит к минимизации функционала:

, (29)

Где все наблюдения имеют одинаковый вес – , а – параметр регуляризации. При условии, что на параметры не наложены ограничения (), итерационный процесс метода проекции градиента вырождается в градиентный спуск:

, (30)

Градиент вычисляется с помощью решений прямых и сопряженных задач. Соответствующая сопряженная задача для каждого наблюдения определена аналитически и решается с использованием следующего условия:

, (31)

Для определения вектора оптимального управления при известных значениях начального состояния и неуправляемого параметра , мы применяем процедуру градиентного спуска, основанную на формулах, выведенных в предыдущем разделе. Соответствующая сопряженная задача также решается численно для вычисления значения .

Сравнение подходов

Используя классический двухэтапный подход (этап 1 – параметрическая идентификация, этап 2 – оптимизация управления), были найдены значения параметров с соответствующими оптимальными значениями управляемых параметров с результирующими значениями функционалов , . Используя предложенный совмещенный подход, в рамках которого параметрическая идентификация и оптимизация управления проводятся в едином вычислительном контуре, удалось получить значительно более качественные результаты. Вычисленные значения параметров и с результирующими значениями функционалов , . Для вычисления значений весовых функций были использованы значения постоянных: и .

Заметим, что значение функционала идентификации в совмещённом подходе оказывается больше, чем в двухэтапном. Это закономерно: функционал представляет собой сумму квадратов отклонений предсказаний модели от наблюдённых значений, причём в совмещённом подходе эта сумма вычисляется с весовыми коэффициентами, тогда как в двухэтапном подходе все наблюдения имеют равный вес. Совмещённая процедура не стремится подогнать модель равномерно по всем наблюдениям, а делает это локально, придавая больший вес наблюдениям из окрестности оптимального режима. Прямое сравнение значений в двух подходах методологически некорректно – это значения разных функционалов, минимизируемых до своих собственных минимумов.

Объективным критерием сравнения подходов является значение функционала управления , вычисленного при подстановке найденного в реальный процесс согласно формуле (26). Совмещённый подход даёт против для двухэтапного подхода – улучшение качества управления реальным процессом в 1.45 раза.

Дополнительным подтверждением преимущества совмещённого подхода является сравнение полученных оптимальных управлений с истинным оптимальным значением , известным по построению тестовой задачи. Расстояния до истинного оптимума: для двухэтапного подхода – ; для совмещённого подхода – . Управление, найденное совмещённым методом, оказывается ближе к реально оптимальному вектору, чем управление, полученное двухэтапным методом.

Данный численный эксперимент подчёркивает явное преимущество совмещённой процедуры по сравнению с классической двухэтапной процедурой: она позволяет получать управление, обеспечивающее более высокое качество функционирования реального процесса в окрестности целевого режима.

Анализ чувствительности по параметрам весовых функций

Эффективность совмещенного подхода существенно зависит от выбора параметров в весовых функциях . С целью изучения этой зависимости проведены серии вычислительных экспериментов, в каждом из которых варьируется один из параметров при фиксированных остальных. Качество найденного управления оценивается по значению функционала согласно формуле (26). Базовое значение для двухэтапного подхода составляет .

В таблице 1 приведены результаты варьирования параметра (вес близости по управлению) при фиксированных .

Таблица 1

Влияние на качество управления

Из таблицы 1 видно, что увеличение от 0.5 до 25 приводит к монотонному улучшению качества управления – от до . При всех значениях совмещенный подход превосходит двухэтапный.

В таблице 2 приведены результаты варьирования параметра (вес близости по начальному состоянию) при фиксированных .

Таблица 2

Влияние на качество управления

Зависимость от имеет выраженный U-образный характер с минимумом при . Слишком малые значения ослабляют локализующее действие весовой функции , тогда как слишком большие приводят к «вырождению» выборки.

В таблице 3 приведены результаты варьирования параметра (вес близости по неуправляемому параметру) при фиксированных .

Таблица 3

Влияние на качество управления

Зависимость от также имеет U-образный характер с минимумом при , причем изменение оказывает наибольшее влияние на результат среди всех трех параметров. При оптимальном значении функционал , что соответствует улучшению в 3.4 раза по сравнению с двухэтапным подходом.

Выводы из анализа чувствительности

Проведенный анализ позволяет сделать следующие выводы. Во-первых, по всем трем параметрам совмещенный подход демонстрирует устойчивое преимущество над двухэтапным во всем исследованном диапазоне значений. Во-вторых, по параметрам и зависимость имеет U-образный характер с выраженным минимумом, что указывает на существование оптимального уровня локализации выборки. В-третьих, наибольший эффект достигается при варьировании параметра , что может быть связано с большим влиянием неуправляемого параметра v на динамику рассматриваемой системы Лотки-Вольтерры.

Полученные результаты указывают на перспективное направление дальнейших исследований – разработку методики адаптивного выбора параметров в зависимости от структуры конкретной задачи и характеристик имеющейся выборки наблюдений.

Заключение

В данной работе была представлена совмещенная процедура, которая одновременно решает задачи параметрической идентификации и оптимизации динамических процессов. В отличие от традиционных двухэтапных методов, которые рассматривают эти задачи, как отдельные, независимые друг от друга задачи, предложенная совмещенная процедура объединяет их в едином вычислительном контуре. Это позволяет получить субоптимальное решение, точно отражающее функционирование системы в окрестности её целевого режима.

Существенное достоинство метода состоит в том, что при идентификации параметров приоритет отдается тем экспериментальным данным, которые получены в условиях, наиболее близких к текущему режиму функционирования системы и реализуемому управлению. Такая схема приводит к построению модели, более адекватной реальной ситуации, в которой осуществляется синтез и реализация управляющих воздействий.

Несмотря на возрастание вычислительной нагрузки, обусловленной повторной идентификацией параметров на каждом шаге оптимизации управления, проведённые численные эксперименты подтверждают эффективность предлагаемого подхода. Важно подчеркнуть, что стратегии управления, синтезированные в рамках данной процедуры, могут заметно отличаться от решений, полученных при классическом двухэтапном подходе; тем не менее при проверке на моделях с учетом истинной динамики системы они демонстрируют более высокую точность и эффективность.