Многошаговые процессы управления
Среди разнообразных задач управления значительное место занимают задачи, в которых объект управления находится в состоянии непрерывного изменения под воздействием различных внешних и внутренних факторов. Задачи управления такими объектами относятся к классу динамических задач управления.
Объект называется управляемым, если среди действующих на него разнообразных факторов имеются такие, распоряжаясь которыми, можно изменять характер его движения. Как уже указывалось, такие целенаправленные воздействия называются управлениями и обозначаются u(t).
Оценить, насколько при том или ином способе управления достигаются поставленные цели, можно, как и раньше, путем введения целевой функции типа, которую в данном случае удобно записать в виде
Если целевая функция имеет физический смысл потерь, то она определяет суммарные потери за весь процесс управления.
В целом ряде случаев характер движения объекта в процессе управления не представляет существенного интереса, а важным является только состояние, которое примет объект в момент окончания процесса управления. Такие задачи получили название задач управления конечным состоянием.
Обозначим через х(Т) состояние объекта в конечный момент времени. Целевая функция в данной задаче будет иметь вид:
Поскольку х(Т) зависит от характера примененного управления u(t), то и значение q также будет зависеть от примененного управления. Поэтому задачу выбора оптимального управления можно сформулировать для этого случая следующим образом: из пространства допустимых управлений U выбрать такое управление u*(t), которое для объекта минимизирует целевую функцию при ограничениях на используемые ресурсы.
Нахождение оптимального управления в динамических системах во многих случаях существенно облегчается, если процесс управления удается разбить естественным или искусственным путем на отдельные шаги или этапы.
Для того чтобы вести рассмотрение в общем виде, будем считать, что состояние объекта описывается многомерной переменной
Предположим, что динамический процесс х( t) на интервале от 0 до t¢может быть естественным или искусственным образом представлен как многошаговый, и найдем подходящий способ описания такого процесса. Для того чтобы получить многошаговый процесс, интервал от 0 до t¢должен быть разбит на п последовательныхшагов, длительности которых примем равными 
как показано на рис. 2. Обозначим через 
моменты окончания k-гo шага так, что 
а через xk состояние объекта вмомент tk:
xk = x(c, tk), где с=х(0).
Состояние
Рис. 2. Разбиение интервала на п шагов.
Это выражение можно представить в виде
Оно представляет собой состояние объекта 
,как результат преобразования состояния xk на (k+1)-м шаге.
Введем в рассмотрение оператор Т, который будет означать преобразование состояния процесса за один шаг:
Тогда можно записать
Полагая k = 0, 1,...,п-1, можем описать весь динамический процесс в виде последовательности преобразований
Динамический процесс, описываемый рассмотренным преобразованием, является неуправляемым. Для получения управляемого многошагового процесса необходимо иметь возможность на каждом шаге осуществлять не одно преобразование Т(хк), а одно из множества преобразований T1(xk),...,Tr(xk).
Удобно считать, что конкретный вид преобразования будет зависеть от параметра uk, который на k-м шаге может принимать одно из множества значений Uk. Параметр uk будем называть управлением, а множество Uk — пространством допустимых управлений на k-м шаге. Преобразование, осуществляемое на k-м шаге, теперь можно записать в виде
Если в соотношении положить последовательно k=0, 1,...,n-1 и учесть начальное состояние х0, то получим описание всего управляемого многошагового процесса:
Пример. Предположим, что переменная состояния является двумерной величиной х=(х(1),x(2)), которая может принимать значения, определяемые геометрически узлами сетки, изображенной на рис. 3, а. Переход от одного узла сетки к следующему производится путем использования на каждом шаге одного из двух возможных управлений: uk=0 – движение по горизонтали и uk=1 – движение по вертикали. Следовательно, пространство допустимых управлений одинаково для любого шага и равно Uk = {0,1}, k=0,1, ...,п-1.
Рис. 3. Многошаговый процесс с двумерной переменной
Рассмотрим одну из клеток данной сетки, показанную на рис. 3, б, в нижнем левом узле которой система оказалась после k-го шага, так что 
Значение 
зависит от примененного управления. Как видно из рис. 4 б имеют место следующие соотношения:
Конкретную траекторию движения системы можно описать, указав начальное состояние х0 и последовательность примененных управлений. Так, отмеченная жирной линией траектория на рис. 3, а получается при использовании управления и= (01101001) и при начальных условиях 
Качество управления определяется значением целевой функции q, численное значение которой можно рассматривать как потери, которые мы несем, применяя то или иное управление. Потери за один шаг будут зависеть от состояния процесса в начале шага и примененного на этом шаге управления, т. е.
За критерий качества управления можно принять полные потери за все п шагов процесса и представить критерий качества управления n-шагового процесса в виде
Здесь через и обозначена последовательность управлений, т. е. упорядоченное множество вида
Если рассматривается многошаговый процесс управления конечным значением, то потери будут зависеть лишь от состояния объекта управления в конце процесса, которое в свою очередь зависит от начального состояния и примененных на каждом шаге управлений:
q=q(xn)=Q(x0 , и).
Величину q выражением будем называть целевой функцией многошагового процесса управления.
Задача нахождения оптимального управления при многошаговом процессе может быть сформулирована следующим образом. Для динамической системы, найти такую последовательность (цепочку) управлений 
, которая обращает в минимум критерий качества управления. Помимо указанной задачи встречаются случаи, когда необходимо в единственной последовательности (цепочке) управления, найти такое управление, при котором критерий качества достигает экстремума. Решаются такие задачи методом перебора.
Рассмотрим некоторые примеры.
1. Задача о замене оборудования.
Требуется разработать политику относительно эксплуатации оборудования старше t лет при следующих условиях : стоимость произведенной за год продукции r(t), возраст которой t лет, и стоимость затрат u(t) на обслуживание этого оборудования приведены в табл.6. Стоимость нового оборудования р(t)=8 ед.
Таблица 6
| Параметры t, r(t), u(t) | Значения параметров t, r(t), u(t) | ||||||||||
| t | |||||||||||
| r(t) | |||||||||||
| u(t) |
В задаче замены устаревшего оборудования показатель эффективности на k-м шаге запишется в виде:
ì r(t)-u(t) при сохранении оборудования,
Qк (t) = í
î r(0)-u(0)-8 при замене оборудования,
где r(t) – стоимость продукции, произведенной за год на оборудовании, возраст которой t лет; u(t) – сметные затраты на обслуживание оборудования; s(t) - остаточная стоимость оборудования.
В рассматриваемой задаче за шаг берется один год эксплуатации оборудования, за состояние – срок эксплуатации, а за управление – сохранение или смена оборудования.
2. Задача распределения средств между предприятиями
Необходимо распределить 120 млн. руб. среди 4-х предприятий таким образом, чтобы общий прирост продукции был максимальным. Прирост выпуска продукции на предприятиях зависит от выделенной суммы. Значения прироста выпуска продукции на предприятиях (I, II, III, IV) приведены в табл.7.
Таблица 7
| Средства i в млн. руб., | Прирост продукции на предприятиях, млн. руб. | |||
| выделяемые предприятию | I | II | III | IV |
Решение задачи разбивается на шаги по числу предприятий, которым выделяются средства. На 1-м шаге средства выделяются 1-му предприятию, на 2-м шаге оставшиеся средства выделяются 2-м предприятию и т.д. до 4-х предприятий.
За управление принимается i средств, выделяемых предприятиям. За состояние системы – остаток после выделения k-му числу предприятий i средств.
Задачу математически оформим следующим образом.
За шаг k примем число предприятий, получивших средства в размере i(k=1, 2, 3, 4). За состояние Хij примем остаток средств (С- i) после выделения j-му предприятию i-х средств, где С=20 млн.руб. За управление примем Uij- сумму i,выделяемую j-му предприятию. Прирост продукции на j-м предприятии при выделении ему i-х средств обозначим qij (C, Uij ). Максимальный прирост продукции при выделении средств k-му числу предприятий обозначим Qk(C, U). Максимальный общий прирост продукции при выделении предприятиям С млн.руб. обозначим Q (C, U)= max Qk(C, U).
Рассмотрим следующие варианты распределения средств при различных k(Мк).
При k=1 возможно М1: Uj120. При k=2 возможны М2: Uj100 и Uj20; Uj80 и Uj40; Uj60 и Uj60. При k=3 возможны М3: Uj40 и Uj40 и Uj40 ; Uj60 и Uj40 и Uj20 . При k=4 возможен М4: Uj60 и Uj20 и Uj20 ; Uj20.
Решение. Определим Qk(C, U) и Q (С, U).
Q1(C, Uij)= max qij(С,Uj120)=(68, 80, 81, 92)=92 (средства выделены 4-му
Uij предприятию).
Q2(C, Uij)= max max [qij (C, Uj100) + qij (C, Uj20); qij (C, Uj80) ) + qij (C, Uj40);
M2 Uij
qij (C, Uj60) )+ qij (C, Uj60) ]= max (86, 87, 85)=87
M2
(средства выделяются U480, U240).
Q3(С,U)=max max [qij (C, Uj40) + qij (C, Uj40) + qij (C, Uj40); qij (C, Uj60) +
M3 Uij
qij (C, Uj40) + qij (C, Uj20)]=max (97, 93)= 97
M3
(средства выделяются U240, U340, U440).
Q4(C, U)= max [qij (C, Uj60) + qij (C, Uj20) + qij (C, Uj20) + qij (C, Uj20)]=79
Uij
(средства выделяются U201,3,4 , U260).
Q(С, U)= max Qk(С, U)= Q3(С, Uij)=97
Ответ. Оптимальное распределение средств следующее:
U01 ,U402 , U403 , U404 .