Непрерывный канал передачи информации
Непрерывный канал передачи информации описывается одномерными и двумерными плотностями распределений вероятностей. Чтобы записать количество взаимной информации между входом и выходом канала связи, используем дискретное представление информации, а затем прейдем к непрерывным величинам.
Совместная вероятность появления символа на входе канала и символа
на выходе канала равна
,
где и
-значения y и z, удовлетворяющие условиям
,
,
и
- границы i-го и j-го интервалов квантования соответственно для y и z
Вероятность появления символа на выходе канала при условии, что на вход подан символ
, равна
.
Количество информации, содержащееся в символе , равно
.
Условное количество информации, содержащееся в элементе , если на вход канала подаётся элемент ансамбля
, равно
.
Тогда количество информации, содержащееся в элементе относительно элемента
, равно
.
Как видно из последнего выражения, интервалы квантования и
не влияют на количество информации, содержащееся в элементе
относительно элемента
.
Количество взаимной информации, содержащееся в ансамбле относительно ансамбля
, равно
.
Осуществляя в предыдущем выражении предельный переход ,
, получим интегральное представление количества взаимной информации, содержащееся в непрерывном ансамбле
относительно непрерывного ансамбля
=
.
Количество взаимной информации, содержащееся в ансамбле относительно ансамбля
, равно количеству взаимной информации, содержащееся в ансамбле
относительно ансамбля
.
Выразим количество взаимной информации через энтропию ассамблей Y и Z. Для этого используем предыдущую формулу
,
где - дифференциальная энтропия на один отсчёт процесса
,
- условная дифференциальная энтропия на один отсчёт процесса
при известном отсчёте
.
Точно так же можно показать, взаимная информация равна
,
где - дифференциальная энтропия на один отсчёт процесса
,
- условная дифференциальная энтропия на один отсчёт процесса
при известном отсчёте
называется ненадёжностью канала связи.
Рассмотрим - энтропию помехи в непрерывном канале связи. Сигналы на входе и выходе канала связи и помеха описываются линейной зависимостью
, в которой каждая составляющая является непрерывной случайной величиной со своей плотностью распределения вероятности. Условная энтропия
имеет вид:
.
Положим, плотность распределения вероятности шума известна и равна . В условной плотности вероятности
величина y считается известной. Тогда случайная величина
при известной величине y зависит только от шума и имеет место
, откуда получим
.
Из этого выражения видно, что условная плотность зависит только от шума. В результате получим
,
т.е. условная энтропия на один отсчёт равна энтропии шума
на один отсчёт.
2.3.3 Эпсилон-энтропия (ε-энтропия)
Наличие помехи в канале связи ухудшает качество восстанавливаемого сигнала. Возникает вопрос, до какой степени можно допустить искажение сигнала помехой, чтобы можно было сказать, сигнал, поступивший в канал связи и вышедший из канала связи идентичны Критерии отождествления двух сигналов могут быть самыми различными. Необходимо ввести расстояние между элементами ансамблей
и
. Мерой идентичности ансамблей
и
наиболее часто берут математическое ожидание квадрата расстояния между элементами ансамблей
и
:
В качестве критерия «сходства» ансамблей и
примем выполнение неравенства
(2.21)
где - заранее заданная допустимая мера отклонения «сходства» ансамблей
и
.
Заданную меру «сходства» необходимо обеспечить при минимальном количестве меры информации
. Ввиду того, что
,
a при отсутствии шума, то необходимо минимизировать
по всем возможным распределениям плотности вероятности
.
Минимальное значение меры информации при выполнении условия
называется эпсилон-энтропией (ε-энтропия) непрерывного ансамбля
.(2.22)
Понятие -энтропия введено Колмогоровым А.Н. [Колмогоров А. Н. Теория информации и теория алгоритмов.— М.: Наука, 1987.-304 с.(стр.46)
Если на входе канала связи мощность сигнала ограничена величиной , значения сигнала находятся в интервале
, то энтропия
не превышает энтропию нормального закона распределения вероятности. Энтропия нормального закона распределения вероятности равна
. Условная энтропия
зависит только от шума и принимает максимальное значение
при нормальном распределении шума мощностью, не превышающей
. Учитывая значения безусловной и условной энтропий, получим
.
Положим, источник генерирует сообщения со скоростью [
].
Тогда ε-призводительностьюисточника сообщений называется величина
. (2.23)
Если учесть, что интервал дискретизации есть величина обратная полосе частот, занимаемая сигналом, то, согласно теореме Котельникова, получим
, (2.24)
где - полоса частот, занимаемая сигналом источника, приходящаяся на один отсчёт.
Максимальная ε-призводительностьисточника сообщений будет тогда, когда значения сигнала распределены по нормальному закону с известной дисперсией
,
,
.
Формулы (2.23) и (2.24) показывают, с какой скоростью можно генерировать информацию, чтобы восстановить сообщения с погрешностью, не превышающей .