Цепи Маркова с непрерывным временем
Рассмотрим марковский процесс 
с конечным или счетным множеством состояний 
, который изменяет свои состояния в произвольные моменты времени. Такой процесс называется цепью Маркова с непрерывным временем. Очевидно, что для такой цепи Маркова выполняются условия
для любых 
и 
.
Определение. Вероятность 
называется вероятностью перехода из состояния 
в состояние 
за промежуток времени 
.
Цепи Маркова однозначно определяются матрицей вероятностей переходов 
и начальным распределением 
.
Вероятности состояний в любой момент времени 
определяются следующим образом:
.
Определение. Если вероятности переходов зависят только от разности моментов времени, то есть 
, то цепь Маркова называется однородной.
Для однородных цепей Маркова матрица вероятностей переходов имеет вид 
, а вероятности состояний определяются следующим образом:
.
Переходные вероятности обладают следующими свойствами:
1. 
.
2. 
.
3. Уравнение Чемпена-Колмогорова:
– для однородных цепей Маркова,
– для неоднородных цепей Маркова, где 
.
4. Условие стохастической непрерывности: 
Это условие означает, что с вероятностью 1 цепь однородная Маркова не изменит своего состояния за бесконечно малый промежуток времени 
. Следует отметить, что стохастическая непрерывность не означает непрерывность реализаций марковской цепи. Это происходит потому, что разрывы каждой реализации цепи происходят в случайные моменты времени, и вероятность того, что разрыв произойдет именно в данный момент времени , равна нулю.