Понятие и основы теории информации
1) Понятие «информации»
Слово «информация» происходит от латинского и означает сведение, разъяснение, ознакомление.
Понятие информации является базовым, т. е. должно быть пояснено на примерах или выявлено путем их сопоставления с содержанием других понятий.
Понятие «информация»является общенаучным, так как используется в различных науках и при этом в каждой науке это понятие связано с различными системами понятий.
1. Философское понятие информации: «информация есть отражение реального мира». Человек получает информацию с помощью органов чувств: 80-90% с помощью зрения, 10-15% с помощью слуха, 1-2% с помощью других органов чувств (обоняние, осязание и вкус).
Информация– это сведения, изменяющие наши знания об окружающем мире и понимание его.
2.Информация в физике.В физике мерой беспорядка, хаоса для термодинамической системы является энтропия системы, тогда как информация (анти энтропия)является мерой упорядоченности и сложности системы. По мере увеличения сложности системы величина энтропии уменьшается, а величина информации увеличивается. Таким образом, в физике информация рассматривается как анти энтропия или энтропия с обратным знаком.
3. Математическая теория информации (американский ученый Клод Шеннон): информативность сообщения характеризуется содержащейся в нем полезной информацией – той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации, т. е. информация – это уменьшение неопределенности наших знаний. Такой подход к информации позволяет ее количественно измерять.
Количественная оценка информации
Количество информации
Существует формула, которая связывает между собой количество возможных информационных сообщений и количество информации, которое несет полученное сообщение:
| N=2H |
Где: N-количество возможных информационных сообщений;
H-количество информации, которое несет полученное сообщение;
Отсюда следует формула Хартли (для равновероятностных сообщений), которая позволяет определить количество информации.
| H=log2N |
В случае, когда вероятность событий неодинакова, для определения количества информации достаточно для выявления сообщения использовать формулу Шеннона:
Где: 
-вероятность того, что система находится в состоянии i ;
N-количество возможных состояний;
В случае равновероятностных сообщений 
=1/N, тогда формула Шеннона переходит в формулу Хартли.
В случае равновероятностных сообщений Pi = 1/N, тогда формула Шеннона переходит в формулу Хартли:
(22.09.2015) Для количественного выражения любой величины необходимо определить единицу измерения. За единицу измерения количества информации принимается такое количество информации, которое содержится в сообщении, уменьшающем неопределенность знания в два раза. Такая единица называется битом. В примере с монетой сообщение несет 1 бит информации (N= 
)
Рассмотрим информационное сообщение, как последовательность знаков определенной знаковой системы (алфавита).
Ограничений на максимальный размер алфавита теоретически не существует, но есть достаточный алфавит, который содержит практически все необходимые символы (латинские и русские буквы, цифры, знаки препинания, знаки арифметики и т.д.). Этот алфавит содержит 256 символов, т.к. 256 = 
, то 1 символ содержит 8 бит информации, т.е. 1 байт.
Кратные единицы измерения:
1 килобайт (Кбайт) = 
1 мегабайт (Мбайт) = 
1 гигабайт (Гбайт) = 
1 терабайт (Тбайт) = 
Математическая теория информации не охватывает всего богатства содержания понятия «информация», поскольку отвлекается от содержательной (смысловой) стороны сообщения.