Технический аспект измерения информации
Задание 1
Измерьте информационный объем сообщения “Ура! Закончились каникулы!!” (с точки зрения технического подхода, то есть не учитывая смысл сообщения). Выразите этот объем в битах, байтах, килобайтах.
Задание 2
Измерьте примерную информационную емкость 1 страницы учебника (данного документа), всего учебника. (Подсказка. Подсчитайте, сколько символов в одной строке и сколько строк на странице, и перемножьте полученные числа).
Сколько таких учебников может поместиться на винчестере емкостью 500 Гбайт ?
Информация как снятая неопределенность
Задание 3
Сколько следует задать вопросов и как их следует формулировать, чтобы оценить сообщение о том, что вагон стоит на одном из 16 путей?
Задание 4
Шарик находится в одном из 64 ящичков. Сколько единиц информации будет содержать сообщение о том, где находится шарик?
Задание 5
Определите, сколько бит информации несет сообщение о том, что на светофоре горит зеленый свет.
Задание 6
Вы бросаете два кубика с нанесенными на гранях цифрами от 1 до 6.
Определите, сколько бит информации несет сообщение, что на одном кубике выпала тройка, а на другом - пятерка.
Задание 7
Предположим, вероятность того, что вы получите за контрольную работу оценку “5”, равна 0,6; вероятность получения “4” равна 0,3; вероятность получения “3” - 0,1. Определите, сколько бит информации будет нести сообщение о результатах контрольной работы в каждом из возможных случаев.
Задание 8
Проанализируйте и попробуйте дополнить таблицу.
Таблица
"Различные подходы к определению и измерению информации"
| Подход к определению | Подход к измерению | |
| в быту | разнообразные сведения, сообщения, их новизна | новизна не измеряется |
| в технике | сообщения, передаваемые в форме знаков и сигналов | информационная емкость = количеству символов |
| теория информации | снятая неопределенность | количество информации зависит от вероятности получения сообщения |
| теория принятия решений | увеличение вероятности достижения цели | Придумать самим |
| кибернетика(теория управления) | часть знания, используемая в управлении | Придумать самим |
| теория отражения | результат отражения, отраженное разнообразие | Придумать самим |
Примеры решения задач по теме «Количество информации»
Теория:
1 Гб = 1024 Мб
1 Мб = 1024 Кб
1 Кб = 1024 байта
1 байт = 8 бит
1. Переведите 2 Мб в Кб, байты, биты.
Решение:
1 способ:
2 Мб * 1024 Кб = 2048 Кб
2 Мб * 1024 Кб * 1024 байт = 2097152 байт
2 Мб * 1024 Кб * 1024 байт * 8 бит = 16777216 бит
2 способ:
2 Мб * 1024 Кб = 2048 Кб
2048 Кб * 1024 байт = 2097152 байт
2097152 байт * 8 бит = 16777216 бит
2. Переведите 27262976 бит в Мб, Кб, байты
Решить самостоятельно
Теория:
По умолчанию (если в задаче не указано специально) при решении задачи указывается 256-символьный алфавит – таблица ASCII (мощность алфавита = 256 символов). Значит, на один символ (букву, цифру, знак, знак препинания, пробел) приходится 8 бит информации или 1 байт.
3. Определить количество информации, которое содержится на печатном листе бумаги (двусторонняя печать), если на одной стороне умещается 40 строк по 67 символов в строке.
Решение:
Определим количество символов на одной стороне листа:
40 строк * 67 символов = 2680 символов
Определим количество символов на 2-х сторонах листа:
2680 символов * 2 = 5360 символов
Количество информации = 5360 символов * 1 байт = 5360 байт
Переводим в Кб: 5360 байт : 1024 байт = 5,23 Кб
Если бы необходимо было получить ответ в бит, то
Количество информации = 5360 символов * 8 бит = 42880 бит
Переводим в байты 42880 бит : 8 бит = 5360 байт
Переводим в Кб 5360 байт : 1024 байт = 5,23 Кб
Теория:
,
где i – количество информации в бит, N – количество символов, количество событий
4. Какое количество информации будет содержаться на странице печатного текста при использовании 32-х символьного алфавита (на странице 60 строк по 56 символов).
Решить самостоятельно
Теория:
Единицы измерения информации правой и левой части должны быть одинаковыми.
5. В каком алфавите одна буква несет в себе больше информации, в русском или латинском? Примечание: в русском языке 33 буквы, в латинском – 26 букв.
Задачу решить самостоятельно
6. Какое количество вопросов необходимо задать, чтобы наверняка угадать загаданного ученика из вашего класса?
Решение:
Допустим, в вашем классе 27 человек.
, где N=27, т.е. 
Точной степени для этого уравнения нет ( 
и 
).
В первом случае мы угадаем только из 16 человек, во втором из 32-х.
Значит, чтобы угадать из 27 человек необходимо получить 5 бит информации,
т.е. задать 5 вопросов.
7. Сколько символов содержится в алфавите, при помощи которого написана книга из 20 страниц, на каждой из которых содержится 15 строк по 20 символов и занимает в памяти компьютера вся книга 5,86 Кб.
Решение:
Количество символов на одной странице - 15 строк * 20 символов = 300 символов
Всего символов в книге n = 300 символов * 20 страниц = 6000 символов
Общее количество информации I = бит в 1 символе * n символов
5,86 Кб = 48005,12 бит
Определим сколько бит в 1 символе:
x = 
, где N – мощность алфавита, значит 
,
N=256 символов в алфавите
8. В алфавите некоторого формального языка всего два знака буквы. Каждое слово этого языка состоит обязательно из 7 букв. Какое максимальное число слов возможно записать в этом языке?
Задачу решить самостоятельно
9. Какое количество информации несет в себе экран SVGA – монитора (16-bit кодирование, размер экрана 800*600)?
Решение:
Определим, сколько всего пиксел содержится на всем экране:
800*600=480 000 пиксел
480 000 * 16 бит = 7 680 000 бит = 960 000 байт = 937,5 Кб = 0,9 Мб
10. Сколько цветов содержит рисунок размером 100*150 пиксел и объемом 29,3 Кб
Задачу решить самостоятельно
11. 256-цветный рисунок содержит 120 байт информации. Из скольких точек он состоит?
Решение:
Т.к. рисунок содержит 256 цветов, то 
, i = 8 бит – глубина цвета
I = кол-во точек * глубину цвета
Количество точек = 
, т.к. 120 байт = 960 бит
12. Достаточно ли видеопамяти объемом 256 Кб для работы монитора в режиме 640*480 точек и палитрой в 16 цветов.
Решение:
Т.к. используется 16 цветов, значит глубина цвета = 4 бита ( )
256 Кб = 2 097 152 бит
640*480 = 307 200 всего точек
Необходимое количество видеопамяти:
2 097 152 бит дано изначально
307 200 * 4 бита = 1 228 800 занимает экран
- получается, что дано в 1,7 раз больше, значит видеопамяти хватит!
Интересное
На памятнике немецкому ученому Л. Больцману высечена формула, выведенная в 1877 году и связывающая вероятность состояния физической системы и величину энтропии этой системы.
Энтропия (греч. en - в, внутрь + trope - превращение, буквально смысловой перевод: то, что внутри, неопределенно) - физическая величина, характеризующая тепловое состояние тела или системы, мера внутренней неупорядоченности системы.
Так вот, формула для энтропии Больцмана совпадает с формулой, предложенной Шенноном для среднего количества информации, приходящейся на один символ в сообщении. Совпадение это произвело столь сильное впечатление, что Шеннон назвал количество информации энтропией. С тех пор слово “энтропия” стало чуть ли не синонимом слова “информации”.
Чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность. Следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после поступления сообщения.
Таким образом, за меру количества информации принимается та же энтропия, но с обратным знаком.
Уменьшая неопределенность, мы получаем информацию, в этом весь смысл научного познания.
ЗАМЕЧАНИЕ. Это утверждение верно, если система замкнута. Может показаться, что легко опровергнуть такое утверждение, но практически всегда такое опровержение будет связано с незамкнутостью, открытостью системы.
ПРИМЕР. Вы решаете математическую задачку и получаете ответ. Затем вам учитель говорит: “Усложним условия задачи”. С одной стороны, вы получили информацию, но эта информация увеличивает степень неопределенности. В чем же дело? Дело в том, что фраза учителя делает систему задачи открытой, что позволяет извне добавить в нее неопределенность, подобно тому, как мы извне нагреваем чайник, повышая энтропию содержащейся в нем воды.