Марковський ланцюг називається однорідним, якщо перехідні ймовірності не залежать від номера кроку. У противному випадку марковський ланцюг неоднорідний.

Розглянемо однорідний марковський ланцюг із n можливих станів S₁, S₂, ..., S_n. Позначимо через P_ij ймовірність переходу (при i = j Ймовірність затримки в стані S_i) за один крок із S_i у S_j. Тоді матриця з P_ij називається матрицею переходу

(2.1)

Перехідні ймовірності можна тоді уявити як умовні ймовірності P_ij = = P (S_j^(k)/S_i^(k-1))

Так як події S_j(k) утворять повну групу несумісних подій, то .

При розгляді марковських ланцюгів часто буває зручно користуватися графом станів, на якому в стрілок проставлені відповідні перехідні ймовірності, не рівні нулю (P_ij¹0) і змінюючи стан системи. Такий граф називається розміченим графом станів, мал.4.

Наприклад, для приведеного вище графа. Зауважимо, що ймовірності, що не змінюють стан системи не наводяться, тому що їх можна обчислити.

Мал. 4.

Для розглянутого прикладу Р₁₁=1-(Р₁₂+Р₁₃), Р₂₂ = 1 - (Р₂₃ + Р₂₄) і т. д. Якщо із стану S_i не виходить жодної стрілки, тобто перехід в інший стан неможливий, то P_ii=1.

Якщо є матриця переходу ||P_ij|| (або розмічений граф станів) і початковий стан системи, то можна знайти ймовірності станів P₁(k), P₂(k), ..., P_n(k) після будь-

якого (k-го) кроку. Покажемо це.

Нехай система знаходиться в початковому стані S_m. Тоді P_i(0) = 0, крім P_m(0) = 1. Ймовірності станів після першого кроку P_i(1) = P_mi; i = 1,2, ..., n.

Знайдемо ймовірності станів після К=2; P_i(2) (i =1,2, ... ,n)

По формулі повної ймовірності з гіпотезами S_j (j=1,2, ... , n)

P_i(2) = (i = 1, 2, ..., n) і т.д. Після k-го кроку

P_i(k) = (2.2)

Рівняння 1 можна переписати в матричній формі

P(k) = P(k-1) × P (2.3)

де P(k), P(k-1) - вектори-рядки станів системи, Р- матриця переходу.

Приклад 4. По деякій цілі ведеться стрільба чотирма пострілами в моменти часу t₁, t₂, t₃, t₄.

Можливі стани цілі (системи S):

S₁ - ціль непошкоджена;

S₂ - ціль незначно ушкоджена;

S₃ - ціль істотно ушкоджена;

S₄ - ціль уражена цілком.

Визначити ймовірності станів цілі після чотирьох пострілів, якщо в початковий момент часу ціль знаходиться в S₁, і граф станів має вид, мал.5.

Рішення: Знайдемо матрицю переходу Р12 = 0,4; Р13 = 0,2; Р14 = 0,1 Р11 = 1 - (0,4+0,2+0,1) = 0,3 Аналогічно Р21 = 0; Р23 = 0,4; Р24 = 0,2; Р22 = 1-0,4-0,2=0,4 Р31=Р32=0; Р34=0,7; Р33 = 1-0,7=0,3 Р41=Р42=Р43=0; Р44=1

Мал. 5

Тоді

 

Ймовірності станів після 1-го кроку Р_i(1)= P₁i (i = 1,2,3,4), тобто елементи 1-го рядка матриці (початковий стан S₁)
P_i(1) = (0,3; 0,4; 0,2; 0,1)

Ймовірність станів після 2-го кроку

{P_i(2)}={P_i(1)} . ||P_ij|| =

Після третього кроку ймовірність станів

{P_i(3)}={P_i(2)} ×||P_ij||

 

Після четвертого кроку

 

{P_i(4)}={P_i(3)} . ||P_ij|| =

 

Одержали, що після чотирьох пострілів ймовірності подій P(S₁) = P₁(4) = 0,008; P(S₂) = P₂(4) = 0,07; P(S₃) = P₃(4) = 0,129; P(S₄) = P₄(4) = 0,793.

Розглянемо загальний випадок - неоднорідний марковський ланцюг, для якого ймовірності переходу P_ij змінюються від кроку до кроку. Тоді ймовірність переходу буде залежати від кроку k, тобто P_ij^(k) = P(S_i^(k)/S_j^(k-1). Якщо ||P_ij^(k)|| відомі на кожному кроку, то

{P_i(k)} = ^(k) = {P_j(k-1)} ||P_ji(k)|| (2.4)

У метричній формі

P(k) = P(k-1), P(k) (2.5)

Приклад 5. Умови задачі ті ж самі, що і у попередньому прикладі. Тільки провадиться не 4, а три постріли. Причому ймовірності переходу змінюються від пострілу до пострілу.

||P_ij⁽¹⁾|| = ||P_ij||

 

Зауваження: Матриця переходу (квадратна) Р, володіючи властивостями 0 < P_ij < 1 , i, j = 1, ..., n у деяких джерелах називається стохастичною.