Единицы измерения информации
Лабораторная работа 1
Количество и единицы измерения информации
Теоретическое обоснование
Единицы измерения информации
Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знания (энтропией). Если сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию. За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза. Такая единица является минимальной и названа бит. Существуют более крупные единицы измерения информации:
1 Байт=8 бит,
1 Килобайт=1024 байт=210 байт, 1 Мегабайт = 1024 Кбайт= 220 байт,
1 Гигабайт=1024 Мбайт=230 байт, 1Терабайт=1024 Гбайт= 240 байт,
1 Петабайт=1024 Тбайт=250 байт, 1Экзабайт=1024 Пбайт= 260 байт.
Задания:
1) Расставьте знаки <, =, > в следующей цепочке:
20 байт … 1000 бит … 1 Мбайт … 1024 Кбайт … 1 Гбайт.
2) Упорядочите величины по возрастанию:
1025 байт, 1 Кбайт, 1 Мбайт, 1023 Кбайт, 1.2 Тбайт, 1025 бит.
3) Выберите правильные ответы: 5 Мбайт - … меньше 5000 Кбайт, равны 5120 Кбайт, равны 512 Кбайт, больше 5000 Кбайт, больше 1 Гбайта?
4) Установите соответствия между единицами измерения информации?
| 1600 бит = | 2048 байт |
| 2 Кбайт = | 10240 Мбайт |
| 2 Мбайт = | 2048 Кбайт |
| 10 Гбайт = | 200 байт |
5) Найдите х из соотношений:
а)16х бит=32 Мбайт, б)8хКбайт=16 Гбайт
Количество информации (энтропийный способ)
1. Равновероятные события. Любая система характеризуется своими состояниями, которые происходят в результате определенных событий. События равновероятны, если при возрастающем числе опытов число состояний системы (например, «орла» и «решки» монеты) постепенно сближаются. Так, при бросании равносторонней четырехгранной пирамиды существует 4 равновероятных события, а при бросании шестигранного игрального кубика - 6 равновероятных событий.
Формула Хартли определяет количество информации I в битах для количества возможных равновероятных событий N следующим образом:
I=log 2 N.(1)
Для определения количества возможных событий, если известно количество информации, применяют обратную формулу:
N=2I. (2)
Для вычисления значения логарифма с помощью калькулятора можно использовать формулу 
Задания:
1) Чему равно наибольшее натуральное число, кодируемое 7 битами, 128, 127, 256, или 64?
2) Сколько информации содержится в одном разряде двоичного числа?
3) Какое количество информации содержит сообщение, что нужный файл находится на одном из 8 лазерных дисков?
4) Сообщение о том, что лекция будет на 10 этаже, несет 4 бита информации. Сколько этажей в доме?
- Неравновероятные события.Если в результате эксперимента события происходят с разными вероятностями, то события неравновероятны.Например, если одна из сторон монеты будет более тяжелой, то она будет чаще выпадать. Или если из 10 карандашей будет 2 красных и 8 синих, то вероятность доставания красного карандаша будет значительно больше, чем синего.
Количество информации для одного из событий с различными вероятностями определяется по формуле:
I = log2 (1/p) ,(3)
гдевероятностьp= K/N, K –количествоинтересующего события, N–общее количество событий.
Количество информации для событий с различными вероятностями определяется по формуле Шеннона:
,(4)
где pi–вероятности отдельных событий.
Пример: В коробке лежит 8 ручек с черной пастой и 24 с красной. Сколько информации несет сообщение о том, что достали ручку с черной пастой?
Дано: Kч=8, Kк=24 . Найти Iч=?
N=8+24=32- всего ручек
Рч=8/32=1/4-вероятность доставания черной ручки
Iч=log2(1/1/4)=2 бита
Т.о. сообщение о том, что достали ручку с черной пастой, несет 2 бита информации.
Задания:
1) Студент на первом курсе получил 100 оценок. Сообщение о том, что он получил пятерку, несет 2 бита информации. Сколько пятерок студент получил на первом курсе?
2) На экзамене по информатике получено 6 пятерок,15 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении о том, что Степанов получил четверку?
3) В коробке 10 белых, 20 красных, 30 синих и 40 зеленых карандашей. Какое количество информации в сообщении о цвете вынутого карандаша?
4) Поступили заявки на оборудование из трех городов: А (10 заявок), В 40 заявок), С (30 заявок). Не удалось выполнить только одну из них. Какое количество информации, содержится в сообщении о том, что не выполнена заявка из города В?
3. Алфавитный подход к измерению информации.Для человека количество информации зависит от ее понятности и новизны, т.е. с точки зрения уменьшения неопределенности наших знаний (энтропии). Любое техническое устройство работает с данными и использует алфавитный подход к измерению информации, так как сигналы кодируют определенные символы в соответствии с алфавитом. Мощность алфавита –полное количество его символов, включая буквы, цифры, знаки препинания и специальные символы. Чем больше мощность алфавита, тем большее количество информации несет один символ.
Предположим, чтосимволы алфавита встречаются с одинаковой вероятностью и несут одинаковое количество информации. Для измерения информации с точки зрения алфавитного подхода (когда количество не зависит от содержания, а зависит от мощности алфавита и количества символов в тексте) используется алгоритм:
1) Найти мощность алфавита – N.
2) Вычислить информационный объем одного символа Ic по формуле Хартли (1).
3) Найти количество символов в сообщении К.
4) Вычислить информационный объем всего сообщения (количество информации) по формуле I=Iс К, (5)
Пример:Найти объем информации, содержащейся в тексте из 1000 символов, написанном русскими буквами.
Для решения используем алгоритм:
1) Найдем мощность алфавита N=33 русских прописных букв +33 русских строчных букв +21 спец.знаков=87 символов
2) Информационный объем одного символа по формуле (1):
Iс=log2 87=6,4 бит
3) Количество символов в сообщении К=1000
4) Информационный объем всего сообщения по формуле (5):
I=6,41000=6400 бит.
Задания:
1) Текст из 1000 символов написан на английском, на русском и на греческом языках. Сравнить объемы информации, содержащейся в текстах.
2) Ученик читает текст со скоростью 250 символов в минуту. Текст использует алфавит из 64 символов. Какой объем информации получит ученик, если непрерывно будет читать 30 минут?
Контрольные вопросы:
1. Вероятностный подход к измерению количества информации.
2. Определение количества информации при равновероятных состояниях системы (формула Хартли).
3. Определение количества информации при неравновероятных состояниях системы (формула Шеннона).
4. Отличия вероятностного подхода к измерению количества информации от объемного.
5. Приведите примеры применения вероятностного подхода к измерению количества информации.