Дифференциальные уравнения Колмогорова
Цепи Маркова с непрерывным временем задаются матрицей инфинитезимальных характеристик 
, элементы которой определяются следующим образом:
,
, 
.
Величина 
имеет смысл 
интенсивности перехода цепи Маркова из состояния 
в состояние 
, а величины 
– смысл интенсивности выхода из состояния .
Кроме того, они обладают свойством 
.
Из определения инфинитезимальных характеристик можно определить вероятности перехода за время 
:
,
.
Матрица инфинитезимальных характеристик позволяет найти вероятности 
для любых 
. Эти вероятности удовлетворяют прямой и обратной системам дифференциальных уравнений Колмогорова.
Для неоднородных цепей Маркова:
обратная система дифференциальных уравнений Колмогорова имеет вид:
,
где 
– краевые условия, заданные на правой границе 
области изменения переменной 
.
прямая система дифференциальных уравнений Колмогорова имеет вид:
,
где 
– краевые условия, заданные на левой границе 
области изменения переменной 
.
Для однородныхцепей Маркова эти системы записываются следующим образом: