Классификация состояний цепи Маркова по асимптотическим свойствам переходных вероятностей
Для цепи Маркова 
определим
–
вероятность первого возвращения в состояние 
на 
-м шаге, тогда 
– вероятность того, что система, выйдя из состояния , хотя бы один раз вернется в него.
Определение. Состояние 
называется возвратным, если 
, и невозвратным, если 
.
Все состояния конечного эргодического класса возвратны. Невозвратные состояния возможны только при бесконечном числе состояний.
Если состояние 
возвратно и 
, то состояние 
также возвратно.
Если состояние 
возвратно, то есть , то набор вероятностей 
образует распределение вероятностей времени возврата.
Поскольку отыскание функций довольно сложно, то для определения возвратности состояний полезен следующий критерий.
Критерий возвратности состояний. Состояние возвратно тогда и только тогда, когда 
.
Каждое возвратное состояние можно в свою очередь отнести к одному из двух типов в зависимости от величины среднего значении времени возвращения (от его конечности или бесконечности). Величина 
по определению математического ожидания равна среднему значению числа шагов, за которые цепь Маркова возвращается в состояние . Величина 
, очевидно, характеризует интенсивность возвращения в состояние .
Определение. Возвратное состояние называется положительным, если 
, и нулевым, если 
.
Пример.Рассмотрим одномерное случайное блуждание частицы по целочисленным точкам действительной прямой. За каждый переход частица перемещается на единицу вправо с вероятностью 
и на единицу влево с вероятностью 
, причем 
.
Следовательно, используя формулу Бернулли, получаем
, 
, 
Воспользовавшись формулой Стирлинга 
получаем
.
Так как 
, причем равенство имеет место только тогда, когда 
, то 
. Поэтому ряд 
расходится тогда и только тогда, когда , и в данном случае все состояния являются возвратными.
При 
, когда 
и 
, все состояния являются невозвратными. Очевидно, что если 
, то частица, отправляясь из состояния , будет смещаться вправо к 
, а если 
, то влево к 
.