Определите количество информации в сообщении «КОЛОБОК» с учетом и без учета вероятности появления символов в сообщении, определите энтропию и избыточность алфавита в сообщении.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФГБОУВПО

БРЯНСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

 

Кафедра«Информатика и программное обеспечение»

 

 

РАСЧЕТНО-ГРАФИЧЕСКАЯ РАБОТА №1

ИНФОРМАЦИЯ И ЕЁ КОДИРОВАНИЕ

Всего 14 листов.

 

Руководитель

________________ доц. Гулак М.Л.

«_____»______________2012 г.

Студент гр.12-БАС

________________ Козин П.А.

«_____»______________2012 г.

 

Брянск 2012


Задача 1.

Для передачи секретного сообщения используется секретный код, состоящий из 5 цифр. При этом символы кодируются одним и тем же минимальным количеством бит. Определите информационный объем сообщения длиной в 240 символов.

Решение:

Для определения минимального количества бит воспользуемся формулой:

2x=N, значит x=3бита, так как 23=8, и 8>5. Для нахождения информационного объема сообщения мы длину символа умножим на минимальное количество бит, получим:

V = 3 * 240 = 720 бит = 90 байт

Ответ: 90 байт.

Задача 2.

В электронной системе учета кадров 550 сотрудникам присвоены двоичные коды одинаковой длины. Какой длины будет минимальный двоичный код в системе?

Решение:

Для определения двоичного кода воспользуемся формулой:

2x=550, тогда получаем x = 10, так как если взять х = 9, то получим 29=512, а 512 < 550, значит минимальный двоичный код = 10 символов.

Ответ: 10 бит.

Задача 3.

В корзине 15 яблок, 15 груш и 30 слив. Определите, сколько бит информации несет сообщение о том, что из корзины извлечен один фрукт.

Решение:

Для определения количества бит информации в сообщение воспользуемся формулой:

I =

Так как вероятность вытащить фрукт составляет 50%, то подставляем значение в формулу:

I = = = 1 бит.

 

Ответ: 1 бит.

Задача 4.

Определите количество информации в сообщении «КОЛОБОК» с учетом и без учета вероятности появления символов в сообщении, определите энтропию и избыточность алфавита в сообщении.

Решение:

Количество информации в сообщении «КОЛОБОК» без учета вероятности появления символов в сообщение вычисляется по формуле Хартли:

I= , где – количество символов в сообщении.

Тогда

I = = 2,806 бит.

Для определения количества информации с учетом вероятности появления символов сообщения определим вероятность появления символов. В сообщении всего 5 символов (три буквы) вероятность появления символов:

1) вероятность появления буквы К:

2) вероятность появления буквы О:

3) вероятность появления буквы Л:

4) вероятность появления буквы Б:

 

Количество информации в сообщении с учетом вероятности появления символов в сообщение:

где -й символ, – вероятность его появления.

Определим количество информации для каждой буквы в сообщении:

1) = = 1,806 бит.

2) = = 1,224 бит.

3) = = 2,806 бит.

4) = = 2,806 бит.

 

Количество информации в сообщении с учетом вероятности появления символов в сообщение:

2 * 1,806 + 3 * 1,224 + 1 * 2,806 + 1 * 2,806 = 12,896 бит.

 

Энтропия сообщения определяется по формуле Шеннона:

Тогда в соответствии с ранее определенными вероятностями энтропия будет равна:

( ) = 0,51652 0,52387 0,40136 0,40136) = 1,84291.

 

Избыточность символов в сообщении составляет:

где - максимально возможная энтропия (формула Хартли); - энтропия системы (формула Шеннона).

Ответ: 0,34.

 

Задача 5.