Марковские процессы
Марковские процессы, или процессы без последействия, являются удобной математической моделью для многих реальных процессов. Представим себе систему, которая может находится в различных состояниях, и пусть её функционирование во времени носит стохастический характер, то есть состояния системы в момент времени 
в общем случае не определяется однозначно её состояниями в предыдущие моменты 
. Следовательно процесс изменения во времени состояний этой системы можно описать некоторым случайным процессом 
, заданным на интервале 
и принимающим значения из множества 
.
Пусть в моменты времени 
заданы сечения 
, 
,…, 
случайного процесса . Для момента времени 
рассмотрим сечение 
и условную функцию распределения
.
Определение. Случайный процесс называется марковским, если выполняется равенство
,
то есть его условная функция распределения вероятностей значений в будущий момент времени 
не зависит от значений процесса в прошлые моменты 
, а определяется лишь значением 
в настоящий момент времени 
.
Условная функция распределения
называется марковской переходной функцией.
Все марковские процессы можно разделить на классы в зависимости от структуры множества – значений случайного процесса , и множества моментов времени наблюдения 
. Если множество – дискретное, то процесс называется цепью Маркова.
При этом если 
– дискретное, то процесс называется цепью Маркова с дискретным временем, а если – непрерывное, то процесс называется цепью Маркова с непрерывным временем.
Если оба множества и непрерывные, то процесс называется непрерывным марковским процессом.