Классификация состояний цепи Маркова по асимптотическим свойствам переходных вероятностей
Для цепи Маркова определим
–
вероятность первого возвращения в состояние на
-м шаге, тогда
– вероятность того, что система, выйдя из состояния
, хотя бы один раз вернется в него.
Определение. Состояние называется возвратным, если
, и невозвратным, если
.
Все состояния конечного эргодического класса возвратны. Невозвратные состояния возможны только при бесконечном числе состояний.
Если состояние возвратно и
, то состояние
также возвратно.
Если состояние возвратно, то есть
, то набор вероятностей
образует распределение вероятностей времени возврата.
Поскольку отыскание функций довольно сложно, то для определения возвратности состояний полезен следующий критерий.
Критерий возвратности состояний. Состояние возвратно тогда и только тогда, когда
.
Каждое возвратное состояние можно в свою очередь отнести к одному из двух типов в зависимости от величины среднего значении времени возвращения (от его конечности или бесконечности). Величина по определению математического ожидания равна среднему значению числа шагов, за которые цепь Маркова возвращается в состояние
. Величина
, очевидно, характеризует интенсивность возвращения в состояние
.
Определение. Возвратное состояние называется положительным, если
, и нулевым, если
.
Пример.Рассмотрим одномерное случайное блуждание частицы по целочисленным точкам действительной прямой. За каждый переход частица перемещается на единицу вправо с вероятностью и на единицу влево с вероятностью
, причем
.
Следовательно, используя формулу Бернулли, получаем
,
,
Воспользовавшись формулой Стирлинга получаем
.
Так как , причем равенство имеет место только тогда, когда
, то
. Поэтому ряд
расходится тогда и только тогда, когда
, и в данном случае все состояния являются возвратными.
При , когда
и
, все состояния являются невозвратными. Очевидно, что если
, то частица, отправляясь из состояния
, будет смещаться вправо к
, а если
, то влево к
.