Цепи Маркова с дискретным временем
Пусть случайный процесс 
изменения во времени состояний некоторой системы принимает целочисленные значения 
из множества 
конечного или счетного, то есть 
, 
. Переходы из одного состояния в другое происходят через равные промежутки времени 
, которые будем называть шагом.
Условные вероятности 
, для всех 
образуют матрицу вероятностей переходов цепи Маркова из одного состояния в другое в момент времени 
.
Если вероятности переходов не зависят от момента времени , то есть 
, то цепь Маркова называется однородной с матрицей вероятностей переходов за один шаг
,
где 
– число состояний системы (число возможных значений цепи Маркова) – конечное или счетное. Элементы матрицы 
и удовлетворяют условию нормировки
, 
.
Такую матрицу называют стохастической или марковской.
Для описания цепи Маркова удобно использовать граф вероятностей переходов, вершины которого обозначают возможные состояния системы, стрелки от одной вершины к другой указывают возможные переходы между состояниями, а число над стрелкой задаёт вероятность такого перехода. Например, пусть множество состояний 
, матрица вероятностей переходов имеет вид
,
тогда граф вероятностей переходов выглядит следующим образом:
Цепь Маркова с дискретным временем полностью определяется матрицей вероятностей переходов за один шаг и начальным распределением 
, где 
.
Для распределения вероятностей состояний однородной цепи Маркова имеет место следующее равенство векторов:
.
Для неоднородной цепи Маркова распределение вероятностей находится по формулам
Пример.Рассмотрим состояния банка, характеризующиеся одной из процентных ставок: 12%,13%,14%, которые устанавливаются в начале каждого квартала и фиксированы на всем его протяжении.Таким образом, если за систему 
принять действующую процентную ставку, то она в каждый момент времени может находиться только в одном из состояний: 
– процентная ставка 12%, 
– процентная ставка 13%, 
– процентная ставка 14%. Анализ работы банка в предшествующие годы показал, что изменение переходных вероятностей с течением времени пренебрежимо мало. Определить распределение вероятностей состояний системы в конце года, если в конце предыдущего года процентная ставка составила 13%, а граф вероятностей переходов имеет вид:
Так как множество состояний, в которых может находиться система , конечно, то протекающий в ней случайный процесс – дискретный. С определенной степенью погрешности можно предположить, что вероятность пребывания банка в одном из своих состояний в будущем зависит только от состояния в настоящем и не зависит от его состояний в прошлом. Поэтому рассматриваемый процесс можно считать марковским.
В силу условий банк может переходить из состояний в состояние только в определенные моменты времени 
– начало 
-го квартала, 
, а изменение переходных вероятностей с течением времени пренебрежимо мало, то рассматриваемый процесс является однородным марковским процессом с дискретным временем.
По графу составим матрицу переходных вероятностей:
.
Так как в конце предшествующего года процентная ставка составляла 13%, то вектор начального распределения имеет вид 
.
Тогда распределение вероятностей состояний процентной ставки банка в конце года, то есть по прошествии четырех кварталов определяется следующим образом:
.
Если предположить, что переходные вероятности зависят от моментов установления процентных ставок, полученный процесс будет являться неоднородной марковской цепью с дискретным временем. Например, пусть
Тогда 
.