Пропускна здатність дискретного каналу. Основна теорема про кодування дискретного джерела.
Максимально можлива швидкість передачі інформації по каналу називається пропускною здатністю, або ємністю каналу зв'язку С.
Виходячи з виразів (5.3) і (5.12), дістанемо формулу
. (5.18)
Очевидно, що вираз (5.18) досягає максимуму при абсолютній статистичній залежності джерел X, Y, тобто за відсутності або при малому рівні завад. У цьому випадку H(X/Y)=0, і оскільки ентропія максимальна у разі рівноімовірних повідомлень, то формула (5.18) набуває вигляду:
. (5.19)
Вираз (5.19) визначає пропускну здатність за відсутності завад.
У разі, коли в каналі наявні завади, умовна ентропія на його вході і виході H(X/Y) знаходиться в діапазоні 0 H(X/Y) H(X). Тоді пропускна здатність каналу визначається за формулою
. (5.20)
При зменшенні рівня завад пропускна здатність каналу C прямує до максимального значення (5.19), а при збільшенні рівня завад – до нуля.
Основна теорема кодування дискретного джерела, сформульована і доведена К. Шенноном, полягає в такому.
Припустимо, що при передачі інформації використовується канал без шуму. Розглянемо безнадмірні (рівноймовірні) вхідні повідомлення, що характеризуються максимальною ентропією H(X)max. У цьому випадку може бути досягнута максимальна швидкість передачі в каналі
, (5.21)
де V=1/T; T - тривалість передачі одного елементарного повідомлення (символу) xi; log2 k - максимальна ентропія джерела з алфавітом об'ємом k.
Якщо статистична надлишковість джерела інформації більше нуля, то швидкість передачі інформації по каналу
. (5.22)
Як доведено К. Шенноном, при будь-якій статистичній надмірності джерела інформації існує такий спосіб кодування повідомлень, при якому може бути досягнута швидкість передачі інформації по каналу без шуму, скільки завгодно близька до його пропускної здатності. Таким чином, умовою узгодженості джерела інформації і каналу передачі є відповідність продуктивності першого пропускній здатності другого.
Теорема Шеннона про кодування дискретного джерела за відсутності завад.стверджує про таке.
Якщо пропускна здатність каналу без шуму перевищує швидкість створення джерелом повідомлень - його продуктивність, тобто
,
то існує спосіб кодування/ декодування повідомлень джерела з ентропією H(X), що забезпечує скільки завгодно високу надійність зіставлення прийнятих кодових комбінацій переданим, інакше - такого способу немає.
За наявності завад в каналі основна теорема кодування узагальнюється такою теоремою:
Якщо для будь-якого повідомлення дискретного джерела X задана ймовірність його спотворення в каналі , то для будь-якого > 0 існує спосіб передачі інформації зі швидкістю
,
скільки завгодно близькою до
,
при якому ймовірність помилки в каналі буде менше . Цей спосіб утворює завадостійкий код.
Фано доведена зворотна теорема кодування джерела за наявності завад:
Якщо швидкість передачі інформації по каналу зв'язку з шумом 
, то можна знайти таке > 0, що ймовірність помилки при передачі повідомлення при будь-якому методі кодування/ декодування буде не менше (очевидно зростає із зростанням 
).
Приклад 1. Матриця сумісних ймовірностей каналу зв'язку має вигляд
.
Знайти інформаційні втрати, пропускну здатність і швидкість передачі інформації по дискретному каналу зв'язку, якщо час передачі одного повідомлення =10-3 с.
Розв'язання
Інформаційні втрати в каналі зв'язку визначаються умовною ентропією H(X/Y) одного джерела щодо іншого.
Для того щоб обчислити повну умовну ентропію H(X/Y), потрібно знайти розподіли безумовних ймовірностей p(xi), p(yj) і побудувати матрицю умовних ймовірностей p(xi/yj).
Безумовний закон розподілу p(xi) знаходимо, виконавши в матриці сумісних ймовірностей p(xi, yj) згортку за j:
p(x1)= 0,15+0,15+0=0,3, i=1;
p(x2)= 0+0,25+0,1=0,35, i=2;
p(x3)= 0+0,2+0,15=0,35, i=3.
Перевіряємо умову нормування
p(x1)+ p(x2)+ p(x3)=0,3+0,35+0,35=1.
Виходячи з розподілу безумовних ймовірностей д. в. в. X, обчислимо її ентропію:
(біт/сим).
Безумовний закон розподілу p(yj) знаходимо, виконавши в матриці сумісних ймовірностей p(xi, yj) згортку за i:
p(y1)= 0,15+0+0=0,15, j=1;
p(y2)= 0,15+0,25+0,2=0,6, j=2;
p(y3)= 0+0,1+0,15=0,25, j=3.
Перевіряємо умову нормування:
p(y1)+ p(y2)+ p(y3)=0,15+0,6+0,25=1.
Матрицю умовних ймовірностей знаходимо, скориставшись формулою множення ймовірностей p(xi, yj)=p(yj)p(xi/yj).
Звідси випливає, що 
.
Отже, матриця умовних ймовірностей p(xi/yj) знаходиться так:
.
Для матриці умовних ймовірностей p(xi/yj) повинна виконуватися умова нормування
.
Перевіряємо цю умову:
,
,
.
Скориставшись матрицею умовний ймовірностей p(xi/yj), обчислимо часткові умовні ентропії X стосовно Y:
(біт/сим);
(біт/сим);
(біт/сим).
Виходячи з безумовного закону розподілу д. в. в. Y та знайдених часткових умовних ентропій H(X/yj), відшукуємо їх математичне сподівання – загальну умовну ентропію
(біт/сим).
Отже, інформаційні втрати в каналі зв'язку H(X/Y)1,18 (біт/сим).
Пропускна здатність каналу із шумом обчислюється за формулою
,
де через k позначено об'єм алфавіту джерела; - час вибору повідомлення джерелом.
Отже, отримаємо 
(бод).
Кількість переданої по каналу інформації,що припадає на одне повідомлення джерела, знаходиться, виходячи із середньої кількості інформації, що виробляється джерелом – його ентропії і інформаційних втрат в каналі:
I(X, Y)=HX-H(X/Y)=1,581-1,1760,406 (біт/сим).
Швидкість передачі інформації знаходиться так:
(бод).
Відповідь: H(X/Y)1,18 (біт/сим); C409 (бод); v=406 (бод).
Тема 6. Характеристики неперервних джерел інформації.
План
1. Інформаційні втрати при кодуванні неперервних джерел.
2. Продуктивність неперервного джерела та швидкість передачі інформації.
3. Пропускна здатність неперервного каналу.