Тема 1. Понятие информации

Конспект лекций по темам учебной дисциплины и методические указания по изучению лекционного курса

Цель лекции: Изучить понятие информации.

Вопросы:

Определить основные задачи теории информации.
Определить понятия системы связи.
Из каких блоков состоит схема передачи информации?
Какие вы знаете свойства информации?

Термин "информация" происходит от латинского слова "informatio", что означает сведения, разъяснения, изложение.

Информация— сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые воспринимают информационные системы (живые организмы, управляющие машины и др.) в процессе жизнедеятельности и работы.

Одно и то же информационное сообщение может содержать разное количество информации для разных людей — в зависимости от их предшествующих знаний, от уровня понимания этого сообщения и интереса к нему.

Информация есть характеристика не сообщения, а соотношения между сообщением и его потребителем. Без наличия потребителя, хотя бы потенциального, говорить об информации бессмысленно.

Применительно к компьютерной обработке данных под информацией понимают некоторую последовательность символических обозначений (букв, цифр, закодированных графических образов и звуков и т.п.), несущую смысловую нагрузку и представленную в понятном компьютеру виде. Каждый новый символ в такой последовательности символов увеличивает информационный объём сообщения.

Информация может существовать в самых разнообразных формах:

в виде текстов, рисунков, чертежей, фотографий;

в виде световых или звуковых сигналов; в виде радиоволн; в виде электрических и нервных импульсов; в виде магнитных записей; в виде жестов и мимики.

Свойства информации. Информация обладает следующими свойствами, характеризующими ее качественные признаки: достоверность, полнота, ценность, своевременность, понятность, доступность, краткость и др.

Информация достоверна, если она отражает истинное положение дел. Недостоверная информация может привести к неправильному пониманию или принятию неправильных решений. Достоверная информация со временем может стать недостоверной, так как она обладает свойством устаревать, то есть перестаёт отражать истинное положение дел.

Информация полна, если её достаточно для понимания и принятия решений. Как неполная, так и избыточная информация сдерживает принятие решений или может повлечь ошибки.

Точность информации определяется степенью ее близости к реальному состоянию объекта, процесса, явления и т.п.

Ценность информации зависит от того, насколько она важна для решения задачи, а также от того, насколько в дальнейшем она найдёт применение в каких-либо видах деятельности человека. Если ценная и своевременная информация выражена непонятным образом, она может стать бесполезной.

Только своевременно полученная информация может принести ожидаемую пользу.

Информацию по одному и тому же вопросу можно изложить кратко (сжато, без несущественных деталей) или пространно (подробно, многословно).

Информацию можно: создавать, передавать, воспринимать, использовать, запоминать, принимать, копировать, формализовать, распространять, преобразовывать, комбинировать, обрабатывать, делить на части, упрощать, собирать, хранить, искать, измерять, разрушать, и др.

Все эти процессы, связанные с определенными операциями над информацией, называются информационными процессами.

Передача информации. Всякое событие, всякое явление служит источником информации. Информация передаётся в виде сообщенийот некоторого источника информации к её приёмнику посредством канала связи между ними. Источникпосылает передаваемое сообщение, которое кодируется в передаваемый сигнал. Этот сигнал посылается по каналу связи. В результате в приёмнике появляется принимаемый сигнал, который декодируетсяи становится принимаемым сообщением. Передача информации по каналам связи часто сопровождается воздействием помех, вызывающих искажение и потерю информации.

Любое событие или явление может быть выражено по-разному, разным способом, разным алфавитом. Чтобы информацию более точно и экономно передать по каналам связи, ее надо соответственно закодировать.

Информация не может существовать без материального носителя, без передачи энергии. Закодированное сообщение приобретает вид сигналов-носителей информации. Они-то и идут по каналу. Выйдя на приемник, сигналы должны обрести вновь общепонятный вид.

Когда говорят о каналах связи, о системах связи, чаще всего для примера берут телеграф. Но каналы связи - понятие очень широкое, включающее множество всяких систем, самых разных.

Например - вычислительная машина. Отдельные системы вычислительной машины передают одна другой информацию с помощью сигналов. Ведь вычислительная машина - автоматическое устройство для обработки информации, как станок - устройство для обработки металла. Машина не создает из “ничего” информацию, она преобразует только то, что в нее введено.

Чтобы ясен был многоликий характер понятия «канал связи», достаточно привести несколько примеров.

Общая схема передачи информации.

Сообщение - информация, выраженная в определенной форме и предназначенная для передачи от источника информации к ее получателю с помощью сигналов различной физической природы. Сообщением могут быть телеграмма, фототелеграмма, речь, телевизионное изображение, данные на выходе ЭВМ и т.д., передаваемые по различным каналам связи, а также сигналы различной физической природы, исходящие от объектов.

Сигнал- материальный носитель информации, представляющий любой физический процесс, параметры которого адекватно отображают сообщение. По своей физической природе сигналы могут быть электрические, акустические, оптические, электромагнитные и т.д.

Защита информации - деятельность, направленная на сохранение государственной, служебной, коммерческой или личной тайн, а также на сохранение носителей информации любого содержания.

Система защиты информации - комплекс организационных и технических мероприятий по защите информации, проведенный на объекте с применением необходимых технических средств и способов в соответствии с концепцией, целью и замыслом защиты.

Основная литература: 2(97-106), 3(12-15); 5(7-9).

Дополнительная литература: 16(15-25); 17(5-30).

Контрольные вопросы:

Определить основные задачи теории информации.
Определить понятия системы связи.
Из каких блоков состоит схема передачи информации?
Какие вы знаете свойства информации?

Тема 2:Апаратты статистикалы лшемдері. Энтропия. Энтропия асиеттері.

Цель лекции: Изучить понятие энтропии и ее признаки.

Вопросы:

Что такое информационная энтропия?
Какие виды энтропии известный на сегодняшний день?
Определение по Шеннону.
Определение с помощью собственной информации
Математические свойства
Эффективность энтропии

Информационная энтропия — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии -го порядка, см. ниже) встречаются очень редко, то неопределённость уменьшается еще сильнее.

Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии, получившему название демона Максвелла. Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Информационная двоичная энтропия для независимых случайных событий с возможными состояниями (от до , — функция вероятности) рассчитывается по формуле

Эта величина также называется средней энтропией сообщения. Величина называется частной энтропией, характеризующей только -e состояние.

Таким образом, энтропия события является суммой с противоположным знаком всех произведений относительных частот появления события , умноженных на их же двоичные логарифмы^[1]. Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей.

Определение по Шеннону

Клод Шеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

1. мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции;

2. в случае, когда все варианты (буквы в приведённом примере) равновероятны, увеличение количества вариантов (букв) должно всегда увеличивать значение функции;

3. должна быть возможность сделать выбор (в нашем примере букв) в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Поэтому функция энтропии должна удовлетворять условиям

1. определена и непрерывна для всех , где для всех и . (Нетрудно видеть, что эта функция зависит только от распределения вероятностей, но не от алфавита.)

2. Для целых положительных , должно выполняться следующее неравенство:

3. Для целых положительных , где , должно выполняться равенство

Шеннон показал,^{[источник не указан 893 дня]} что единственная функция, удовлетворяющая этим требованиям, имеет вид

где — константа (и в действительности нужна только для выбора единиц измерения).

Шеннон определил, что измерение энтропии ( ), применяемое к источнику информации, может определить требования к минимальной пропускной способности канала, требуемой для надёжной передачи информации в виде закодированных двоичных чисел. Для вывода формулы Шеннона необходимо вычислитьматематическое ожидание «количества информации», содержащегося в цифре из источника информации. Мера энтропии Шеннона выражает неуверенность реализации случайной переменной. Таким образом, энтропия является разницей между информацией, содержащейся в сообщении, и той частью информации, которая точно известна (или хорошо предсказуема) в сообщении. Примером этого является избыточность языка — имеются явные статистические закономерности в появлении букв, пар последовательных букв, троек и т. д. (см. цепи Маркова).

Определение энтропии Шеннона связано с понятием термодинамической энтропии. Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвеллатакже противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.