Синтаксические меры информации
Синтаксические меры количества информации имеют дело с обезличенной информацией, не выражающей смыслового отношения к объекту.
Объем данных 
в сообщении измеряется количеством символов (разрядов) в этом сообщении. В различных системах счисления один разряд имеет различный вес, и соответственно меняется единица измерения данных:
· в двоичной системе счисления единица измерения - бит (binary digit - двоичный разряд). Наряду с этой единицей измерения широко используется укрупненная единица измерения “байт”, равная 8 бит.
· в десятичной системе счисления единица измерения - дит (десятичный разряд).
Пример 3
Сообщение в двоичной системе в виде восьмиразрядного двоичного кода 10111011 имеет объем данных 
Сообщение в десятичной системе в виде шестиразрядного числа 275903имеетобъемданных 
Определение количества информации I на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Рассмотрим это понятие.
Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомленности о системе является функция Н(a), которая в тоже время служит и мерой неопределенности состояния системы. Эта мера получила название энтропия. Если потребитель имеет полную информацию о системе, то энтропия равна 0. Если потребитель имеет полную неопределенность о какой-то системе, то энтропия является положительным числом. По мере получения новой информации энтропия уменьшается.
После получения некоторого сообщения b получатель приобрел некоторую дополнительную информацию 
, уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала 
.
Тогда количество информации о системе, полученное в сообщении b , определится как 
, т. е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.
Если конечная неопределенность обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации 
. Иными словами, энтропия системы Н(a) может рассматриваться как мера недостающей информации.
Энтропия системы Н(a) , имеющая N возможных состояний, согласно формуле Шеннона, равна
(1)
где 
- вероятность того, что система находится в i -м состоянии.
Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны 
, ее энтропия определяется соотношением
(2)
Энтропия системы в двоичной системе счисления измеряется в битах. Исходя из формулы (2) можно сказать, что в системе в равновероятными состояниями 1 бит равен количеству информации, которая уменьшает неопределенность знаний в два раза.
Пример 4
Система, которая описывает процесс бросания монеты, имеет два равновероятных состояния. Если вам нужно угадать, какая сторона выпала сверху, то вы сначала имеете полную неопределенность о состоянии системы. Что бы получить информацию о состоянии системы, вы задаете вопрос: "Это орел?". Этим вопросом вы пытаетесь отбросить половину неизвестных состояний, т.е. уменьшить неопределенность в 2 раза. Какой бы ответ ни последовал "Да" или "Нет", вы получите полную ясность о состоянии системы. Таким образом, ответ на вопрос содержит 1 бит информации. Поскольку после 1-го вопроса наступила полня ясность, то энтропия системы равна 1. Этот же ответ дает формула (2), т.к. log22=1.
Пример 5.
Игра "Отгадай число". Вам надо угадать задуманное число от 1 до 100. В начале отгадывания вы имеете полную неопределенность о состоянии системы. При отгадывании надо задавать вопросы не хаотично, а так, чтобы ответ уменьшал неопреденность знаний в 2 раза, получая таким образом примерно 1 бит информации после каждого вопроса. Например, сначала надо задать вопрос: "Число больше 50?". "Правильный" подход к отгадыванию дает возможность угадать число за 6-7 вопросов. Если применить формулу (2), то получится, что энтропия системы равна log2100=6,64.
Пример 6.
Алфавит племени "тумбо-юмбо" содержит 32 различных символа. Какова энтропия системы? Другими словами надо определить, какое количество информации несет в себе каждый символ.
Если считать, что каждый символ встречается в словах с равной вероятностью, то энтропия log232=5.
Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.
Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.
,
причем 
.
Чем больше коэффициент информативности Y, тем меньше объем работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.