Вероятностные модели систем
2.1. ОРИЕНТИРОВАННЫЙ ГРАФ СОСТОЯНИЯ СИСТЕМЫ.
МАРКОВСКИЕ ПРОЦЕССЫ.
Вероятностные (стохастические) модели используются для исследования таких систем, процесс функционирования которых определяется случайными факторами. Учет случайных факторов является обязательным при исследовании процессов применения, эксплуатации, ремонта и обеспечения технических комплексов, при оценке их эффективности, разработке автоматизированных систем управления, обосновании технических требований к системам и так далее.
Мощным средством разработки и исследования вероятностных моделей является аппарат теории марковских случайных процессов в развитие которого внесли большой вклад русские и советсткие ученые А.А.Марков, А.Я.Хинчин, А.Н.Колмогоров, Б.В.Гнеденко, И.Н.Коваленко, Н.П.Бусленко, Ю.В.Прохоров и многие другие.
В данной главе рассматриваются дискретные системы с непрерывным временем. Возможные состояния такой системы S0, S1, S2, … можно перечислить (перенумеровать), а переход ее из одного состояния в другое возможен в любой, наперед неизвестный, случайный момент времени, причем этот переход осуществляется скачком (мгновенно). Число состояний системы может быть как конечным, так и бесконечным (но счетным).
Множество S={S0, S1, S2, …} возможных состояний системы и множество возможных ее переходов из одного состояния в другое удобно представлять в виде ориентированнного графа (рис 2.1.), вершинам которого соответствуют состояния системы, а дугам – возможные переходы, причем направление дуги указывает, из какого состояния и в какое возможен переход системы. Процесс функционирования системы в данном случае можно представить как случайное перемещение (блуждание) точки, изображающей систему, по графу состояний. Характерной особенностью стохастических систем является то, что для любого момента времени t нельзя однозначно указать, в каком из состояний находится система, а можно определить только распределение вероятностей для состояний, то есть определить значения вероятностей Pk(t) того, что в момент времени система находится в состоянии Sk..
Так как в любой момент времени t система обязательно находится в одном из возможных ее состояний, то при t любом справедливо нормировочное условие:
, (2.1)
где N+1 – число возможных состояний системы.
Совокупность функциональных соотношений и логических условий, позволяющих вычислить значение вероятностей Pk(t) для k=0,N, и представляет собой вероятностную модель системы.
Из изложенного следует, что при разработке модели системы необходимо прежде всего определить множество S ее возможных состояний и дать описание законов, в соответствии с которыми она переходит из одного состояния в другое.
Множество S можно определить, во-первых, как множество допустимых комбинаций возможных состояний элементов системы. Важным при этом является анализ и учет взаимосвязей между элементами системы.
Во-вторых, каждое состояние системы можно охарактеризовать численными значениями одного или нескольких ее параметров, т.е. множество возможных комбинаций численных значений параметров системы. Этот подход более целесообразен, так как набор параметров, характеризующих состояние системы, определяют не только исходя из природы системы, но и с учетом цели проводимого исследования.
Оба указанных подхода не исключают, а наоборот, дополняют друг друга, так как на основе анализа возможных состояний элементов системы можно определить ее параметры.
Чтобы выявить и описать закономерности перехода системы из одного состояния в другое, каждый переход удобно рассматривать как результат воздействия на систему некоторого случайного потока событий.
Поток – это последовательность однородных событий, следующих одно за другим в случайные моменты времени (например, поток отказов технических систем, поток сообщений, поступающих в АСУ, и тому подобные).
Наиболее важными свойствами потоков являются : стационарность, ординарность и отсутствие последействия.
Стационарность потока означает, что его вероятностные характеристики не зависят от времени. Важнейшей характеристикой потока является его интенсивность l – среднее число событий в единице времени. Для стационарного потока l=const, а для нестационарного l=l(t) – функция времени.
Ординарность потока означает практическую невозможность появления двух и более событий в один и тот же момент времени.
Отсутствие последействия означает, что события появляются в потоке независимо друг от друга, т.е. вероятность появления определенного числа событий за некоторый произвольно выбранный промежуток времени не зависит от того, сколько событий произошло раньше (не зависит от предыстории изучаемого потока).
Поток событий, обладающий всеми тремя свойствами, называется простейшим или стационарным пуассоновским потоком. Число событий пуассоновского потока, попадающих на любой участок, распределено по закону Пуассона, то есть вероятность попадания ровно k событий на участок (t0, t0+t)
(2.2)
где а – среднее число событий, приходящихся на участок t. Для простейшего потока а=lt, а для нестационарного пуассоновского
.
Определим закон распределения F(t) интервала времени между событиями. Так как F(t) – вероятность того, что на участок длительности t попадает хотя бы одно событие, то
F(t)= 1–P(0)=1–e-lt (2.3)
f(t) = F’(t)= le-lt, t ³ 0.
Таким образом, закон распределения интервалов времени между событиями простейшего потока является экспоненциальным (показательным).
Математическое ожидание Mt (средняя длительность интервала между событиями), дисперсия Dt и среднее квадратическое отклонение st случайной величины, распределенной по показательному закону, определяются соотношениями
. (2.4)
Экспоненциальное распределение обладает замечательным свойством «не помнить о прошлом»: если рассматриваемый промежуток времен уже «длился» некоторое время, то это никак не влияет на закон распределения оставшейся части этого промежутка. Это означает, что вероятность появления события в течение некоторого интервала времени не зависит от того, сколько времени прошло после появления предыдущего события, а среднее время ожидания этого события также не зависит от того, с какого момента времени мы его ожидаем.
Простейшие потоки событий довольно часто встречаются на практике, так как суммарный поток, образующийся при взаимном наложении достаточно большого числа стационарных и ординарных потоков с последействием (что часто имеет место на практике), является простейшим.
Из сказанного следует: если переход системы из состояния Si в состояние Sj происходит под воздействием L простейших потоков интенсивности 
, то
.
Таким образом, каждой дуге (i,j) графа состояний можно поставить в соответствие интенсивность суммарного потока событий lij. Такой граф называется размеченным, и ему соответствует квадратная матрица интенсивностей переходов 
порядка (N+1, N+1), причем 
. Для размеченного графа состояний (рис 2.1) имеем
.
Можно доказать следующее утверждение : если все потоки событий, переводящие систему из состояния в состояние, пуассоновские, то процесс функционирования системы представляет собой марковский процесс с непрерывным временем. Отличительной особенностью марковского процесса является то, что вероятность любого состояния системы в будущем зависит только от ее состояния в настоящем и не зависит от того, когда и каким образом система пришла в это состояние. Понятие «марковский процесс» ввел советский математик А.Н.Колмогоров в честь русского ученого А.А.Маркова (1856–1922), внесшего большой вклад в теорию случайных процессов.
2.2. Уравнения Колмогорова для вероятностей
состояний
Введем обозначения:
Pk(t) – вероятность того, что система в момент времени t находится в состоянии Sk(k=0, 1, 2, …, N);
Pik(Dt) – условная вероятность того, что система, будучи в момент t в состоянии Si, за время перейдет в состояние Sk(k¹i).
Так как Pik(Dt) – вероятность появления хотя бы одного события за время Dt, то
,
где lik – интенсивность потока событий, под воздействием которого система переходит из состояния Si в состояние Sk .
Разлагая показательную функцию в ряд Тейлора, имеем:
. (2.5)
Пусть в момент времени t система находится в одном из возможных состояний. Определим вероятность Pk(t+) того, что в момент t+Dt она будет находиться в состоянии Sk (k=0,1,…,N).
Предположим, что за время Dt система может только один раз изменить свое состояние. Это означает, что система может попасть в состояние Sk двумя способами.
1. В момент t система находилась в одном из состояний Si(i¹k), которое соединено дугой (i, k) с состоянием Sk , а за время Dt перешла в состояние Sk . Вероятность этого события
,
где 
– множество дуг, заходящих в вершину Sk . Например, для состояния S1 (рис. 2.1) 
,
P1=P0(t)P01(Dt)+P2(t)P21(Dt) .
2. В момент t система находилась в состоянии Sk и за время Dt не вышла из него ни по одной из дуг, исходящих из вершины Sk.. Вероятность этого события
,
где 
– множество дуг, исходящих из вершины Sk . Для состояния S1 (рис. 2.1) 
,
P2=P1(t)[1–P10(Dt)–P12(Dt)] ,
где [P10(Dt)+P12(Dt)] – вероятность того, что система, будучи в момент t в состоянии S1, за время Dt перейдет из него в состояние S0 или S2.
Так как оба способа несовместны, то
(2.6)
Перенесем Pk(t) в левую часть и разделим все члены уравнения (2.6) на Dt, получим
.
В результате предельного перехода при Dt®0 с учетом выражения (2.5) получим систему дифференциальных уравнений Колмогорова
(2.7)
Уравнение (2.7) в отличие от уравнения (2.6) является точным, так как члены, соответствующие двум и более переходам системы за время Dt и опущенные в выражении (2.6), в результате предельного перехода обращаются в нуль. Действительно, пусть за время Dt система может перейти из состояния Si в состояние Sk через состояние Sj. Условная вероятность этого события с учетом формулы (2.5)
При записи правой части уравнения (2.7) целесообразно руководствоваться мнемоническим правилом : «то, что втекает, прибавляется, а что вытекает – вычитается».
Для рассматриваемого примера (рис 2.1) уравнения Колмогорова имеют вид (читателю рекомендуется записать их самостоятельно)
Интегрируя систему линейных дифференциальных уравнений (2.7) с учетом условия нормировки (2.1) при заданных начальных условиях (например, Pk(0)=1, а для всех i ¹ k Pi(0)=0 – в начальный момент система находится в состоянии Sk), можно определить распределение для вероятностей состояний системы в любой момент времени.
На практике часто наибольший интерес представляет поведение системы в установившемся режиме при t®¥. Здесь сразу же возникает вопрос, как поведут себя вероятности Pk(t) при t®¥, стремятся ли они к каким либо пределам, существует ли в системе некоторый установившийся (стационарный) режим.
Предельные вероятности 
существуют и не зависят от начального состояния системы, если граф ее состояний конечен и существует маршрут между любой парой его вершин, то есть система может перейти из каждого состояния в любое другое за конечное число шагов. Такие системы называют эргодическими.
Предельная вероятность Pk – это средняя доля времени, в течение которого система находится в состоянии Sk . Если, например, Pk=0,3, то это означает, что в состоянии Sk система времени ее функционирования.
Для вычисления предельных вероятностей в уравнениях (2.7) производные приравнивают нулю и получают систему линейных алгебраических уравнений
(2.8)
Так как система (2.8) однородна, то при вычислении вероятностей Pk одно из уравнений (2.8) заменяют нормировочным условием
.
При аналитическом исследовании удобно использовать следующий способ решения системы (2.8): сначала все предельные вероятности выражают через какую-либо одну, а затем их подставляют в условие нормировки.