Марковские процессы, дискретные в пространстве и во времени. Матрица переходных вероятностей марковской цепи
Марковские процессы
Основные понятия:
1) состояние
2) переход системы (из одного состояния в другое)
Xi: X1, X2, …, Xn состояния i: 1 – N
2 ЭВМ: первый (1) и второй (2)
1 работает 2 ремонт X1
1 профилактические работы 2 работает в режиме резерва X2
1 отказ 2 отказ X3
и т.д. для всех возможных вариантов состояний
Шаг процесса – переход из одного состояния в другое
Xi –> Xk причем i может быть равной k
1) если каждый из элементов имеет положительный экспоненциальный закон распределения
2) описание большинства систем, зная ее прошлое (до текущего состояния), не влияет на предсказание ее поведения в будущем
Момент переходов: n=0,1,2,…
i=1,2,3,…,N – количество состояний системы
∆t – промежутки между переходами
матрица переходных вероятностей марковской цепи.
Свойства матрицы:
1) 
2) 
- вероятность попадания в состояние с номером j после n+1 переходов
т.к. j=1,…,N, то 
……………………………
;
………………
 – свойство
|
– эргодический Марковский процесс
На практике все идет непрерывно при ∆t → 0 или ∆t конечно.