Модели источников сообщений. Конечный вероятностный источник сообщений
Большинство информационных процессов связано не с отдельными сообщениями, а с последовательностями (потоками) сообщений. Например, при чтении человек анализирует последовательность букв, образующих слова и текст в целом; данные, поступающие от измерительных устройств или передающиеся по каналам связи, представляют собой последовательности сообщений. Для описания (моделирования) подобных ситуаций удобно ввести формальное понятие конечного (комбинаторного)источника сообщений.
Конечным (комбинаторным) источником называется произвольное множество . Элементы множества
обычно называются сообщениями. Источник может породить любое из этих сообщений.
В некоторых случаях бывает известно, что в последовательностях сообщений одни сообщения встречаются чаще, чем другие. Например, в текстах на русском языке буквы "о", "е" встречаются более чем в 10 раз чаще букв "щ", "э", "ф" [30]. В других естественных языках наблюдается аналогичная ситуация. Использование дополнительной информации о частотах появления сообщений вероятностного источника может повысить эффективность обработки данных.
Формализацией понятия частоты появления того или иного события в математике является его вероятность. Вероятность события обозначают обычно символом
. Вероятность некоторого события (сообщения) можно представлять себе как долю тех случаев, в которых оно появляется, от общего числа появившихся событий (сообщений).
Так, если заданы четыре сообщения с вероятностями
, то это означает, что среди, например, 10000 переданных сообщений около 5000 раз появляется сообщение
, около 3750 - сообщение
и примерно по 625 раз - каждое из сообщений
и
.
Распределение вероятностей появления отдельных сообщений в последовательности является важной ее характеристикой и существенно влияет на дальнейшие процессы обработки сообщений. Для дальнейшего удобно ввести формальное понятие конечного вероятностного источника сообщений.
Вероятностным источником назовем произвольное множество (сообщений) с вероятностями (частотами) появления каждого из них. Удобно представлять вероятностный источник в виде таблицы.
Вероятностный источник сообщений