Непрерывные цепи Маркова
Марковский случайный процесс с дискретными состояниями и непрерывным временем называется непрерывной цепью Маркова при условии, что переход системы из состояния в состояние происходит не в фиксированные, а в случайные моменты времени.
В экономике часто встречаются ситуации, которые указать заранее невозможно. Например, любая деталь или агрегат автомобиля могут выйти из строя в любой, непредсказуемый заранее момент времени. Для описания таких систем в отдельных случаях можно использовать математический аппарат непрерывной цепи Маркова.
Пусть система характеризуется п состояниями 
а переход из состояния в состояние может осуществляться в любой момент времени. Обозначим через 
вероятность того, что в мо-
мент времени t система S будет находиться в состоянии 
.... п). Требуется определить для любого t вероятности состояний 
Очевидно, что
|
|
Для процесса с непрерывным временем вместо переходных вероятностей Pjj рассматриваются плотности вероятностей перехода ХуУ представляющие собой предел отношения вероятности перехода системы за время At из состояния 5, в состояние Sj к длине промежутка At:
Если 
то процесс называется однородным, если плот-
ность вероятности зависит от времени 
то - неоднородным.
При рассмотрении непрерывных марковских процессов принято представлять переходы системы S из состояния в состояние как происходящие под влиянием некоторых потоков событий1. Потоком событий называется последовательность однородных событий, следующих одно за другим через какие-то, вообще говоря, случайные интервалы времени. Плотность вероятности перехода интерпретируется как интенсивность 
соответствующих потоков событий. Если все эти потоки пуассон'овские, то процесс, протекающий в системе 
будет марковским.
При изучении марковских случайных процессов с дискретными состояниями и непрерывным временем в графе состояний над стрелками, ведущими из состояния 
в , 
проставляют соответствующие интенсивности 
Такой граф состояний называют размеченным.
Пусть система S имеет конечное число состояний 
Случайный процесс, протекающий в этой системе, описывается вероятностями состояний 
— вероят-
ность того, что система S в момент / находится в состоянии 
. Для любого 
Вероятности состояний Pfj) находят путем решения системы дифференциальных уравнений (уравнений Колмогорова), имеющих вид
Величина 
называется потоком вероятности перехода из
состояния 
в 
, причем интенсивность потоков 
может зависеть от времени или быть постоянной.
Уравнения (2.8) составляют по размеченному графу состояний системы, пользуясь следующим мнемоническим правилом:
производная вероятности каждого состояния равна сумме всех
потоков вероятности, идущих из других состояний в данное
состояние, минус сумма всех потоков вероятности, идущих из
данного состояния в другие.
Чтобы решить систему дифференциальных уравнений (2.8), нужно задать начальное распределение вероятностей 
Для решения применяют численные методы.