Передача дискретных сообщений по каналам связи
Канал связи представляет собой совокупность технических средств и физических сред, предназначенную для передачи сообщений из одной точки пространства в другую. Эта передача чаще всего осуществляется в условиях неизбежных помех. В результате воздействия помех каждый отправленный символ xiможет быть опознан получателем как символ 
, причем yk 
xi. Такое событие называют ошибкой.
Передачу символов сообщения можно рассматривать как составной эксперимент, состоящий в отправлении символов сообщения 
и получения символов . С точки зрения теории информации физическое устройство канала несущественно, а свойства канала при этом полностью описываются матрицей переходных вероятностей 
или 
,
где 
есть вероятность передачи символа , если зафиксирован полученный символ ,
– вероятность получения символа , если зафиксирован (передается) символ .
При этом предполагается, что новые символы (сверх заданного объема алфавита m) не могут быть созданы под влиянием помех.
Следовательно,
 ;
 .
|
Если помехи отсутствуют, то все диагональные элементы матрицы 
или матрицы 
равны единице, а остальные – нулю. При очень больших помехах все элементы матриц могут быть приблизительно одинаковыми.
При наличии помех, передача символа не снимает полностью неопределенность относительно полученного символа . Таким образом, передача символов по каналу описывается ниже перечисленными мерами неопределенности (энтропиями).
Неопределенность передаваемых символов при условии их независимости 
:
 .
|
Неопределенность полученных символов 
:
 .
|
Неопределенность получения символов при зафиксированном символе 
:
 .
|
Эта величина называется частной энтропией принятых символов.
Полная энтропия принятых символов вычисляется усреднением 
по вероятностям передаваемых символов :
|
Величину 
называют средней условной энтропией принимаемых символов.
Неопределенность передаваемых символов при зафиксированном принятом символе 
:
|
Эта величина является частной энтропией передаваемых символов.
Полную энтропию передаваемых символов находят усреднением энтропии 
по вероятностям принимаемых символов :
 .
|
В соответствии с основным соотношением теории информации (1.3), прирост количества информации (I ), связанный с приемом одного символа сообщения, определяется выражением:
| (3.1) |
где 
– априорная вероятность появления символа;
– апостериорная вероятность появления этого же символа. Справедливо также соотношение:
 .
| (3.2) |
Из выражений (3.1) и (3.2) видно, что, по мере уменьшения помех, величина 
будет стремиться к 
, а при увеличении помех будет стремиться к нулю.