информационная емкость сигналов

Общие сведения и понятия

Понятие сигнала. В XVIII веке в теорию математики вошло понятие функции, как определенной зависимости какой-либо величины y от другой величины – независимой переменной х, с математической записью такой зависимости в виде у(х). Довольно скоро математика функций стала основой теории всех естественных и технических наук. Особое значение функциональная математика приобрела в технике связи, где временные функции вида s(t), v(f) и т.п., используемые для передачи информации, стали называть сигналами.

В технических отраслях знаний термин "сигнал" (signal, от латинского signum – знак) используется в широком смысловом диапазоне. Под ним понимают и техническое средство для передачи, обращения и использования информации - электрический, магнитный, оптический сигнал; и физический процесс, отображающий информационное сообщение - изменение какого-либо параметра носителя информации (электромагнитных колебаний, светового потока и т.п.) во времени, в пространстве или в зависимости от изменения значений каких-либо других аргументов (независимых переменных); и смысловое содержание определенного физического состояния или процесса, как, например, сигналы светофора, звуковые предупреждающие сигналы и т.п. Все эти понятия объединяет конечное назначение сигналов. Это определенные сведения, сообщения, информация о каких-либо процессах, состояниях или физических величинах объектов материального мира, выраженные в форме, удобной для передачи, обработки, хранения и использования этих сведений.

Термин “сигнал” часто отождествляют с понятиями “данные” (data) и “информация” (information). Действительно, эти понятия взаимосвязаны, но относятся к разным категориям.

Понятие информации имеет много определений, от наиболее широкого (информация есть формализованное отражение реального мира) до практического (сведения, являющиеся объектом хранения, передачи, преобразования, восприятия и управления). Мировая наука все больше склоняется к точке зрения, что информация, наряду с материей и энергией, принадлежит к фундаментальным философским категориям естествознания и относится к одному из свойств объективного мира. Что касается “данных” (от латинского datum – факт), то это совокупность фактов, результатов наблюдений, измерения каких-либо физических свойств объектов, явлений или процессов материального мира, представленных в формализованном виде. Это не информация, а сырье для получения информации путем соответствующей обработки и интерпретации (истолкования).

Термин "signal" в мировой практике является общепринятым для характеристики формы представления данных, при которой данные рассматриваются как результат некоторых измерений объекта исследований в виде последовательности значений скалярных величин (аналоговых, числовых, графических и пр.) в зависимости от изменения каких-либо переменных значений (времени, энергии, температуры, пространственных координат, и пр.). А так как данные содержат информацию, как об основных целевых параметрах объекта исследований, так и о различных сопутствующих и мешающих факторах измерений, то в широком смысле этого слова можно считать, что сигнал является носителем общей измерительной информации. При этом материальная форма носителей сигналов (механическая, электрическая, магнитная, акустическая, оптическая и любая другая), равно как и форма отображения данных в каких-либо физических параметрах или процессах носителей, значения не имеет. Информативным параметром сигнала может являться любой параметр носителя сигнала, функционально и однозначно связанный со значениями информационных данных.

Наиболее распространенное представление сигналов - в электрической форме в виде зависимости напряжения от времени U(t).

Рис. 1.1.1. Сигнал.

С математической точки зрения сигнал представляет собой функцию, т.е. зависимость одной величины от другой, независимой переменной. По содержанию это информационная функция, несущая сообщение о физических свойствах, состоянии или поведении какой-либо физической системы, объекта или среды. А целью обработки сигналов можно считать извлечение определенных информационных сведений, которые отображены в этих сигналах (кратко - полезная или целевая информация) и преобразование этих сведений в форму, удобную для восприятия и дальнейшего использования.

Под "анализом" сигналов имеется в виду не только их чисто математические преобразования, но и получение на основе этих преобразований выводов о специфических особенностях соответствующих процессов и объектов. Целями анализа сигналов обычно являются:

- Определение или оценка числовых параметров сигналов (энергия, средняя мощность, среднее квадратическое значение и пр.).

- Изучение изменения параметров сигналов во времени.

- Разложение сигналов на элементарные составляющие для сравнения свойств различных сигналов.

- Сравнение степени близости, "похожести", "родственности" различных сигналов, в том числе с определенными количественными оценками.

Математический аппарат анализа сигналов весьма обширен, и широко применяется на практике во всех без исключения областях науки и техники.

С понятием сигнала неразрывно связан термин регистрациисигналов, использование которого также широко и неоднозначно, как и самого термина сигнал. В наиболее общем смысле под этим термином можно понимать операцию выделения сигнала и его преобразования в форму, удобную для дальнейшего использования. Так, при получении информации о физических свойствах каких-либо объектов, под регистрацией сигнала понимают процесс измерения физических свойств объекта и перенос результатов измерения на материальный носитель сигнала или непосредственное энергетическое преобразование каких-либо свойств объекта в информационные параметры материального носителя сигнала (как правило - электрического). Но так же широко термин регистрации сигналов используют и для процессов выделения уже сформированных сигналов, несущих определенную информацию, из суммы других сигналов (радиосвязь, телеметрия и пр.), и для процессов фиксирования сигналов на носителях долговременной памяти, и для многих других процессов, связанных с обработкой сигналов.

Применительно к настоящему курсу под термином регистрации будем понимать регистрацию данных (data logging), которые проходят через конкретную систему или точку системы и определенным образом фиксируются на каком-либо материальном носителе или в памяти системы. Что касается процесса получения информации при помощи технических средств, обеспечивающих преобразование физических величин в сигналы, удобные для обработки и восприятия, то для этого процесса будем применять, в основном, термин детектирования.

Шумы и помехи.

 

При детектировании сигналов, несущих целевую для данного вида измерений информацию, в сумме с основным сигналом одновременно регистрируются и мешающие сигналы - шумы и помехи самой различной природы (рис. 1.1.2). Шумы, как правило, имеют случайный (стохастический) характер. К помехам относят стационарные искажения полезных сигналов при влиянии на процессы измерений различных дестабилизирующих факторов (электромагнитные наводки, вибрация, и т.п.). Выделение полезных составляющих из общей суммы зарегистрированных сигналов или максимальное подавление шумов и помех в информационном сигнале при сохранении его полезных составляющих является одной из основных задач первичной обработки результатов наблюдений.

Рис. 1.1.2. Сигнал с помехами.

Виды шумов и помех разделяют по источникам их возникновения, по энергетическому спектру, по характеру воздействия на сигнал, по вероятностным характеристикам и другим признакам. Источники шумов и помех бывают внутренние и внешние.

Внутренние, как правило, присущи физической природе источников и детекторов сигналов, а также их материальных носителей. Например, флюктуации интенсивности излучения радионуклидов в силу статистической природы ядерных процессов, тепловые шумы электронных потоков в электрических цепях, и т.п.

Внешние источники шумов и помех бывают искусственного и естественного происхождения. К искусственным источникам относятся индустриальные помехи и помехи от работающей физико-технической аппаратуры. Естественными источниками являются молнии, флюктуации магнитных полей, всплески солнечной энергии, и т.д. Электрические и магнитные поля различных источников помех вследствие наличия индуктивных, емкостных и резистивных связей создают в цепях сигнальных систем паразитные разности потенциалов и токи, накладывающиеся на полезные сигналы.

Помехи подразделяются на флюктуационные, импульсные и периодические.

Флюктуационные помехи представляют собой хаотические и беспорядочные во времени процессы в виде нерегулярных случайных всплесков различной амплитуды. Как правило, флюктуационные помехи распределены по нормальному закону с нулевым средним.

Импульсные помехи проявляются как в виде отдельных импульсов, так и в виде последовательности импульсов, форма и параметры которых имеют случайный характер. Причинами импульсных помех являются резкие броски тока и напряжения в промышленных установках, транспортных средствах, а также природные электрические явления.

Периодические помехи вызываются электромагнитными полями линий электропередач, силовых электроустановок и др. Если основная мощность помех сосредоточена на отдельных участках диапазона частот, например, на частоте напряжения промышленной сети или кратна этой частоте, то такие помехи называют сосредоточенными.

В зависимости от характера воздействия на сигнал помехи разделяют на аддитивные и мультипликативные. Аддитивные (налагающиеся) помехи суммируются с сигналом, не зависят от его значений и формы и не изменяют информативной составляющей самого сигнала. Мультипликативные или деформирующие помехи могут изменять форму информационной части сигнала, иметь зависимость от его значений и от определенных особенностей в сигнале и т.п. При известном характере мультипликативных помех возможна коррекция сигнала на их влияние.

Следует заметить, что деление сигналов на полезные и мешающие (шумовые) является достаточно условным. Источниками мешающих сигналов также могут быть определенные физические процессы, явления или объекты. При выяснении природы мешающих сигналов они могут переводиться в разряд информационных. Так, например, вариации диаметра скважин и каверны является мешающим фактором практически для всех методов каротажа. Вместе с тем этот же фактор, при соответствующем методическом и аппаратурном обеспечении, может дать возможность бесконтактного определения диаметра скважин в качестве дополнительного информационного параметра.

Размерность сигналов.

 

 

Рис. 1.1.3. Двумерный сигнал.

В общем случае сигналы являются многомерными функциями пространственных, временных и прочих независимых переменных. Все большее применение находят также многомерные сигналы, образованные некоторым множеством одномерных сигналов,.

Многомерные сигналы могут иметь различное представление по своим аргументам.

Многомерный сигнал может рассматриваться, как упорядоченная совокупность одномерных сигналов. С учетом этого при анализе и обработке сигналов многие принципы и практические методы обработки одномерных сигналов, математический аппарат которых развит достаточно глубоко, распространяются и на многомерные сигналы. Физическая природа сигналов для математического аппарата их обработки значения не имеет.

Вместе с тем обработка многомерных сигналов имеет свои особенности, и может существенно отличаться от одномерных сигналов в силу большего числа степеней свободы. Так, при дискретизации многомерных сигналов имеет значение не только частотный спектр сигналов, но и форма растра дискретизации.

Что касается порядка размерности многомерных сигналов, то ее увеличение выше двух практически не изменяет принципы и методы анализа данных, и сказывается, в основном, только на степени громоздкости формул и чисто техническом усложнении вычислений.

Учитывая эти факторы, при рассмотрении общей теории анализа, преобразований и обработки сигналов ограничимся, в основном, одно- и двумерными сигнальными функциями. В качестве универсальных независимых переменных (аргументов функций) будем использовать, как правило, переменную "t" для одномерных сигналов и переменные "x,t" или "x,y" для двумерных сигналов, безотносительно к их физическому содержанию (пространство, время, энергия и пр.).

Математическое описание сигналов. Сигналы могут быть объектами теоретических исследований и практического анализа только в том случае, если указан способ их математического описания. Математическое описание позволяет абстрагироваться от физической природы сигнала и материальной формы его носителя, проводить классификацию сигналов, выполнять их сравнение, устанавливать степень тождества, моделировать системы обработки сигналов.

Большинство сигналов, встречающихся на практике, представлены во временной области функциями времени. При отображении сигналов на графике одной из координат (независимой) является ось времени, а другой координатой (зависимой) – ось амплитуд. Тем самым мы получаем амплитудно-временное представление сигнала. В общем случае описание сигнала задается функциональной зависимостью определенного информационного параметра сигнала от независимой переменной (аргумента) – s(х), y(t) и т.п. Такая форма описания и графического представления сигналов называется динамической (сигнал в реальной динамике его поведения по аргументам). Функции математического описания сигналов могут быть как вещественными, так и комплексными. Выбор математического аппарата описания определяется простотой и удобством его использования при анализе и обработке сигналов.

Отметим двойственность применения описания сигналов функциями типа s(t) и т.п. С одной стороны s(t) – это величина, равная значению функции в момент времени t. С другой стороны мы обозначаем через s(t) и саму функцию, т.е. то правило, по которому каждому значению t ставится в соответствие определенная величина s. В большинстве аналитических выражений это не вызывает недоразумений и при однозначном соответствии значений сигналов их аналитическим выражениям принимается по умолчанию.

.

Спектральное представление сигналов. Кроме динамического представления сигналов и функций в виде зависимости их значений от определенных аргументов при анализе и обработке данных широко используется математическое описание сигналов по аргументам, обратным аргументам динамического представления. Так, например, для времени обратным аргументом является частота. Возможность такого описания определяется тем, что любой сколь угодно сложный по своей форме сигнал, не имеющий разрывов второго рода (бесконечных значений на интервале своего задания), можно представить в виде суммы более простых сигналов, и, в частности, в виде суммы простейших гармонических колебаний, что выполняется при помощи преобразования Фурье. Соответственно, математически разложение сигнала на гармонические составляющие описывается функциями значений амплитуд и начальных фаз колебаний по непрерывному или дискретному аргументу – частоте изменения функций на определенных интервалах аргументов их динамического представления. Совокупность амплитуд гармонических колебаний разложения называют амплитудным спектром сигнала, а совокупность начальных фаз – фазовым спектром. Оба спектра вместе образуют полный частотный спектр сигнала, который по точности математического представления тождественен динамической форме описания сигнала.

Линейные системы преобразования сигналов описываются дифференциальными уравнениями, причем для них верен принцип суперпозиции, согласно которому реакция систем на сложный сигнал, состоящий из суммы простых сигналов, равна сумме реакций от каждого составляющего сигнала в отдельности. Это позволяет при известной реакции системы на гармоническое колебание с определенной частотой определить реакцию системы на любой сложный сигнал, разложив его в ряд гармоник частотного спектра сигнала. Широкое использование гармонических функций при анализе сигналов объясняется тем, что они являются достаточно простыми ортогональными функциями и определены при всех значениях непрерывных переменных. Кроме того, они являются собственными функциями времени, сохраняющими свою форму при прохождении колебаний через любые линейные системы и системы обработки данных с постоянными параметрами (изменяются только амплитуда и фаза колебаний). Немаловажное значение имеет и то обстоятельство, что для гармонических функций и их комплексного анализа разработан мощный математический аппарат.

Кроме гармонического ряда Фурье применяются и другие виды разложения сигналов: по функциям Уолша, Бесселя, Хаара, полиномам Чебышева, и др. Главное условие однозначности и математической идентичности отображения сигналов - ортогональность функций разложения. При качественном анализе сигналов могут применяться и неортогональные функции, выявляющие какие-либо характерные особенности сигналов, полезные для интерпретации физических данных.

Классификация сигналов

 

осуществляется на основании существенных признаков соответствующих математических моделей сигналов.Все сигналы разделяют на две крупных группы: детерминированные и случайные. Классификация сигналов внутри групп приведена на рис. 1.1.4.

Рис. 1.1.4. Классификация сигналов.

С математических позиций группы сигналов обычно называют множествами, в которые объединяют сигналы по какому-либо общему свойству. Принадлежность сигнала s к множеству L_Р записывается в виде L_P = {s; P}, где Р – определенное свойство данного множества сигналов.

Классификация детерминированных сигналов. Обычно выделяют два класса детерминированных сигналов: периодические и непериодические.

К множеству периодических относят гармонические и полигармонические сигналы. Для периодических сигналов выполняется общее условие s(t) = s(t + kT), где k = 1, 2, 3, ... - любое целое число (из множества целых чисел I от - до ), Т - период, являющийся конечным отрезком независимой переменной. Множество периодических сигналов:

L_P = {s(t); s(t+kT) = s(t), - < t < , kÎI}.

Гармонические сигналы (синусоидальные), описываются следующими формулами:

s(t) = A×sin (2pf_оt+f) = A×sin (w_оt+f), s(t) = A×cos(w_оt+j), (1.1.1)

Рис. 1.1.5. Гармонический сигнал и спектр его амплитуд.

где А, f_o, w_o, j, f - постоянные величины, которые могут исполнять роль информационных параметров сигнала: А - амплитуда сигнала, f_о - циклическая частота в герцах, w_о = 2pf_о - угловая частота в радианах, j и f- начальные фазовые углы в радианах. Период одного колебания T = 1/f_о = 2p/w_o. При j = f-p/2 синусные и косинусные функции описывают один и тот же сигнал. Частотный спектр сигнала представлен амплитудным и начальным фазовым значением частоты f_о (при t = 0).

Полигармонические сигналы составляют наиболее широко распространенную группу периодических сигналов и описываются суммой гармонических колебаний:

s(t) = A_n sin (2pf_nt+j_n) A_n sin (2pB_nf_pt+j_n), B_n I, (1.1.2)

или непосредственно функцией s(t) = y(t ± kT_p), k = 1,2,3,..., где Т_р - период одного полного колебания сигнала y(t), заданного на одном периоде. Значение f_p =1/T_p называют фундаментальной частотой колебаний.

Рис. 1.1.6. Модель сигнала. Рис. 1.1.7. Спектр сигнала.

Полигармонические сигналы представляют собой сумму определенной постоянной составляющей (f_о=0) и произвольного (в пределе - бесконечного) числа гармонических составляющих с произвольными значениями амплитуд A_n и фаз j_n, с частотами, кратными фундаментальной частоте f_p. Другими словами, на периоде фундаментальной частоты f_p, которая равна или кратно меньше минимальной частоты гармоник, укладывается кратное число периодов всех гармоник, что и создает периодичность повторения сигнала. Частотный спектр полигармонических сигналов дискретен, в связи с чем второе распространенное математическое представление сигналов - в виде спектров (рядов Фурье).

На рис. 1.1.6 приведен отрезок периодической сигнальной функции, которая получена суммированием постоянной составляющей и трех гармонических колебаний с разными значениями частоты и начальной фазы колебаний. Математическое описание сигнала задается формулой:

s(t) = A_k×cos(2×p×f_k×t+j_k),

где: A_k = {5, 3, 4, 7} - амплитуда гармоник; f_k = {0, 40, 80, 120} - частота в герцах; j_k = {0, -0.4, -0.6, -0.8} - начальный фазовый угол колебаний в радианах; k = 0, 1, 2, 3. Фундаментальная частота сигнала 40 Гц.

Частотное представление данного сигнала (спектр сигнала) приведено на рис. 1.1.7. Обратим внимание, что частотное представление периодического сигнала s(t), ограниченного по числу гармоник спектра, составляет всего восемь отсчетов и весьма компактно по сравнению с временным представлением.

Периодический сигнал любой произвольной формы может быть представлен в виде суммы гармонических колебаний с частотами, кратными фундаментальной частоте колебаний f_р = 1/Т_р. Для этого достаточно разложить один период сигнала в ряд Фурье по тригонометрическим функциям синуса и косинуса с шагом по частоте, равным фундаментальной частоте колебаний Df = f_p:

s(t) = (a_k cos 2pkDft + b_k sin 2pkDft), (1.1.3)

a_o = (1/T) s(t) dt, a_k = (2/T) s(t) cos 2pkDft dt, (1.1.4)

b_k = (2/T) s(t) sin 2pkDft dt. (1.1.5)

Количество членов ряда Фурье K = k_max обычно ограничивается максимальными частотами f_max гармонических составляющих в сигналах так, чтобы f_max < K·f_p. Однако для сигналов с разрывами и скачками имеет место f_max ® ¥ , при этом количество членов ряда ограничивается по допустимой погрешности аппроксимации функции s(t).

Одночастотные косинусные и синусные гармоники можно объединить и представить разложение в более компактной форме:

s(t) = S_k cos (2pkDft-j_k), (1.1.3')

S_k = , j_k = argtg (b_k/a_k). (1.1.6)

Рис. 1.1.8. Прямоугольный периодический сигнал (меандр).

Пример представления прямоугольного периодического сигнала (меандра) в виде амплитудного ряда Фурье в частотной области приведен на рис. 1.1.8. Сигнал четный относительно t=0, не имеет синусных гармоник, все значения j_k для данной модели сигнала равны нулю.

Информационными параметрамиполигармонического сигнала могут быть как определенные особенности формы сигнала (размах от минимума до максимума, экстремальное отклонение от среднего значения, и т.п.), так и параметры определенных гармоник в этом сигнале. Так, например, для прямоугольных импульсов информационными параметрами могут быть период повторения импульсов, длительность импульсов, скважность импульсов (отношение периода к длительности). При анализе сложных периодических сигналов информационными параметрами могут также быть:

- Текущее среднее значение за определенное время, например, за время периода:

(1/Т) s(t) dt.

- Постоянная составляющая одного периода:

(1/Т) s(t) dt.

- Среднее выпрямленное значение:

(1/Т) |s(t)| dt.

- Среднее квадратичное значение:

.

К непериодическим сигналам относят почти периодические и апериодические сигналы. Основным инструментом их анализа также является частотное представление.

Почти периодические сигналы близки по своей форме к полигармоническим. Они также представляют собой сумму двух и более гармонических сигналов (в пределе – до бесконечности), но не с кратными, а с произвольными частотами, отношения которых (хотя бы двух частот минимум) не относятся к рациональным числам, вследствие чего фундаментальный период суммарных колебаний бесконечно велик.

Рис. 1.1.9. Почти периодический сигнал и спектр его амплитуд.

Так, например, сумма двух гармоник с частотами 2f_o и 3.5f_o дает периодический сигнал (2/3.5 – рациональное число) с фундаментальной частотой 0.5f_o, на одном периоде которой будут укладываться 4 периода первой гармоники и 7 периодов второй. Но если значение частоты второй гармоники заменить значением f_o, то сигнал перейдет в разряд непериодических, поскольку отношение 2/ не относится к числу рациональных чисел. Как правило, почти периодические сигналы порождаются физическими процессами, не связанными между собой. Математическое отображение сигналов тождественно полигармоническим сигналам (сумма гармоник), а частотный спектр также дискретен.

Рис. 1.1.10. Апериодический сигнал и модуль спектра.

Апериодические сигналы составляют основную группу непериодических сигналов и задаются произвольными функциями времени. На рис. 1.1.10 показан пример апериодического сигнала, заданного формулой на интервале (0, ¥):

s(t) = exp(-a×t) - exp(-b×t),

где a и b – константы, в данном случае a = 0.15, b = 0.17.

Рис. 1.1.11. Импульсный сигнал и модуль спектра.

К апериодическим сигналам относятся также импульсные сигналы, которые в радиотехнике и в отраслях, широко ее использующих, часто рассматривают в виде отдельного класса сигналов. Импульсы представляют собой сигналы определенной и достаточно простой формы, существующие в пределах конечных временных интервалов. Сигнал, приведенный на рис. 1.1.11, относится к числу импульсных.

Частотный спектр апериодических сигналов непрерывен и может содержать любые гармоники в частотном интервале [0, ¥]. Для его вычисления используется интегральное преобразование Фурье, которое можно получить переходом в формулах (1.1.3) от суммирования к интегрированию при Df ® 0 и kDf ® f.

s(t) = (a(f) cos 2pft + b(f) sin 2pft) df = S(f) cos(2pft-j(f)) df. (1.1.7)

a(f) = s(t) cos 2pft dt, b(f) = s(t) sin 2pft dt, (1.1.8)

S(f) = , j(f) = argtg (b(f)/a(f)). (1.1.9)

Частотные функции a(f), b(f) и S(f) представляют собой не амплитудные значения соответствующих гармоник на определенных частотах, а распределения спектральной плотности амплитуд этих гармоник по частотной шкале. Формулы (1.1.8-1.1.9) обычно называют формулами прямого преобразования Фурье, формулы (1.1.7) – обратного преобразования.

Если нас не интересует поведение сигнала за пределами области его задания [0, Т], то эта область может восприниматься, как один период периодического сигнала, т.е. значение Т принимается за фундаментальную частоту периодический колебаний, при этом для частотной модели сигнала может применяться разложение в ряды Фурье по области его задания (1.1.3-1.1.6).

Рис. 1.1.12. Радиоимпульс и модуль его спектра.

В классе импульсных сигналов выделяют подкласс радиоимпульсов. Пример радиоимпульса приведен на рис. 1.1.12.

Уравнение радиоимпульса:

s(t) = u(t) cos(2pf_ot+j_o).

где cos(2pf_ot+j_o) – гармоническое колебание заполнения радиоимпульса, u(t) – огибающая радиоимпульса. Положение главного пика спектра радиоимпульса на частотной шкале соответствует частоте заполнения f_o, а его ширина определяется длительностью радиоимпульса. Чем больше длительность радиоимпульса, тем меньше ширина главного частотного пика.

С энергетических позиций сигналы разделяют на два типа: с ограниченной (конечной) энергией и с бесконечной энергией.

Для множества сигналов с ограниченной энергией должно выполняться условие:

L₂ = {s; |s(t)|² dt < }.

О сигналах s(t) данного множества принято говорить, что они интегрируемы с квадратом. Очевидно, что этому множеству могут соответствовать только сигналы, стремящиеся к нулю на бесконечности: s(t) 0.

Как правило, к этому типу сигналов относятся апериодические и импульсные сигналы, не имеющие разрывов 2-го рода при ограниченном количестве разрывов 1-го рода. Любые периодические, полигармонические и почти периодические сигналы, а также сигналы с разрывами и особыми точками 2-го рода, уходящими в бесконечность, относятся к сигналам с бесконечной энергией. Для их анализа применяются специальные методы.

Для бесконечных по энергии сигналов, в том числе для периодических, ограничение по энергии может задаваться для определенного интервала (периода) T = t1-t2:

L₂(T) = {s; |s(t)|² dt < }.

Иногда в отдельный класс выделяют сигналы конечной длительности, отличные от нуля только на ограниченном интервале аргументов (независимых переменных). Такие сигналы называют финитными.

С позиций временной динамики сигналы подразделяются на стационарные и нестационарные. Стационарными называются сигналы, частотный спектр которых не изменяется во времени и не зависит от интервала задания сигналов. К ним относятся периодические и почти периодические сигналы. Большинство практических сигналов являются нестационарными на достаточно больших интервалах задания, но могут содержать в своем составе стационарные частотные составляющие. Так, модулированные сигналы радио и телевидения относятся к числу нестационарных, но имеют стационарные несущие частоты.

Классификация случайных сигналов. Случайным сигналом называют функцию времени, значения которой заранее неизвестны, и могут быть предсказаны лишь с некоторой вероятностью. Случайный сигнал отображает случайное физическое явление или физический процесс, причем, зарегистрированный в единичном наблюдении, сигнал не воспроизводится при повторных наблюдениях. При регистрации случайного сигнала реализуется только один из возможных вариантов (исходов) случайного процесса, а достаточно полное и точное описание процесса в целом можно произвести только после многократного повторения наблюдений и вычисления определенных статистических характеристик ансамбля реализаций сигнала. В качестве основных статистических характеристик случайных сигналов принимают:

а) закон распределения вероятности нахождения величины сигнала в определенном интервале значений;

б) спектральное распределение мощности сигнала.

Случайные сигналы подразделяют на стационарные и нестационарные. Стационарные сигналы сохраняют свои статистические характеристики в последовательных реализациях случайного процесса. Что касается случайных нестационарных сигналов, то их общепринятой классификации не существует. Как правило, из них выделяют различные группы сигналов по особенностям их нестационарности.

Типы сигналов

Выделяют следующие типы сигналов, которым соответствуют определенные формы их математического описания.

Рис. 1.2.1. Аналоговый сигнал.

Аналоговый сигнал (analog signal) является непрерывной или кусочно-непрерывной функцией y=x(t) непрерывного аргумента, т.е. как сама функция, так и ее аргумент могут принимать любые значения в пределах некоторого интервала y₁ £ y £ y₂, t₁ £ t £ t₂. Если интервалы значений сигнала или его независимых переменных не ограничиваются, то по умолчанию они принимаются равными от -¥ до +¥. Множество возможных значений сигнала образует континуум - непрерывное пространство, в котором любая сигнальная точка может быть определена с точностью до бесконечности.

Источниками аналоговых сигналов, как правило, являются физические процессы и явления, непрерывные в динамике своего развития во времени, в пространстве или по любой другой независимой переменной, при этом регистрируемый сигнал подобен (“аналогичен”) порождающему его процессу. Пример графического отображения сигнала приведен на рис. 1.2.1. Примеры сигналов, аналоговых по своей природе - изменение напряженности электрического, магнитного, электромагнитного поля во времени и в пространстве.

Рис. 1.2.2. Дискретный сигнал

Дискретный сигнал (discrete signal) по своим значениям также является непрерывной функцией, но определенной только по дискретным значениям аргумента. По множеству своих значений он является конечным (счетным) и описывается дискретной последовательностью отсчетов (samples) y(nDt), где y₁ £ y £ y₂, Dt - интервал между отсчетами (интервал или шаг дискретизации, sample time), n = 0, 1, 2,...,N. Величина, обратная шагу дискретизации: f = 1/Dt, называется частотой дискретизации (sampling frequency). Если дискретный сигнал получен дискретизацией (sampling) аналогового сигнала, то он представляет собой последовательность отсчетов, значения которых в точности равны значениям исходного сигнала по координатам nDt.

Пример дискретизации аналогового сигнала (рис. 1.2.1) представлен на рис. 1.2.2. При Dt = const (равномерная дискретизация данных) дискретный сигнал можно описывать сокращенным обозначением y(n). В технической литературе в обозначениях дискретизированных функций иногда оставляют прежние индексы аргументов аналоговых функций, заключая их в квадратные скобки - y[t]. При неравномерной дискретизации сигнала обозначения дискретных последовательностей обычно заключаются в фигурные скобки - {s(t_i)}, а значения отсчетов приводятся в виде таблиц с указанием значений координат t_i. Для числовых последовательностей (равномерных и неравномерных) применяется и следующее числовое описание: s(t_i) = {a₁, a₂, ..., a_N}, t = t₁, t₂, ...,t_N. Примеры дискретных геофизических сигналов - результаты вертикального электрического зондирования (дискретная величина разноса токовых электродов), профили геохимического опробования, и т.п.

Цифровой сигнал (digital signal) квантован по своим значениям и дискретен по аргументу. Он описывается квантованной решетчатой функцией y_n = Q_k[y(nDt)], где Q_k - функция квантования с числом уровней квантования k, при этом интервалы квантования могут быть как с равномерным распределением, так и с неравномерным, например - логарифмическим. Задается цифровой сигнал, как правило, в виде дискретного ряда (discrete series) числовых данных - числового массива по последовательным значениям аргумента при Dt = const, но в общем случае сигнал может задаваться и в виде таблицы для произвольных значений аргумента.

Рис. 1.2.3. Цифровой сигнал

По существу, цифровой сигнал по своим значениям (отсчетам) является формализованной разновидностью дискретного сигнала при округлении отсчетов последнего до определенного количества цифр, как это показано на рис 1.2.3. Цифровой сигнал конечен по множеству своих значений. Процесс преобразования бесконечных по значениям аналоговых отсчетов в конечное число цифровых значений называется квантованием по уровню, а возникающие при квантовании ошибки округления отсчетов (отбрасываемые значения) – шумами (noise) или ошибками (error) квантования (quantization).

В системах цифровой обработки данных и в ЭВМ сигнал всегда представлен с точностью до определенного количества разрядов, а, следовательно, всегда является цифровым. С учетом этих факторов при описании цифровых сигналов функция квантования обычно опускается (подразумевается равномерной по умолчанию), а для описания сигналов используются правила описания дискретных сигналов. Что касается формы обращения цифровых сигналов в системах хранения, передачи и обработки, то, как правило, они представляет собой комбинации коротких одно- или двуполярных импульсов одинаковой амплитуды, которыми в двоичном коде с определенным количеством числовых разрядов кодируются числовые последовательности сигналов (массивов данных).

Рис. 1.2.4. Дискретно-аналоговый сигнал

В принципе, квантованными по своим значениям могут быть и аналоговые сигналы, зарегистрированные соответствующей аппаратурой (рис. 1.2.4), которые принято называть дискретно-аналоговыми. Но выделять эти сигналы в отдельный тип не имеет смысла - они остаются аналоговыми кусочно-непрерывными сигналами с шагом квантования, который определяется допустимой погрешностью измерений.

Большинство сигналов, с которыми приходится иметь дело при обработке геофизических данных, являются аналоговыми по своей природе, дискретизированными и квантованными в силу методических особенностей измерений или технических особенностей регистрации, т.е. преобразованными в цифровые сигналы. Но существуют и сигналы, которые изначально относятся к классу цифровых, как, например отсчеты количества гамма-квантов, зарегистрированных по последовательным интервалам времени.

Сигнал, значения которого отличны от нуля только на конечном интервале Т, называют финитным. Если спектральная функция X(f) сигналов (преобразование Фурье) обращается в нуль вне некоторого конечного интервала частот, то они называются сигналами с финитным спектром. Если сигнал X(t) определен только для значений аргумента t0, то он считается каузальным (причинным).

Преобразования типа сигналов.

 

На разных этапах процессов получения и обработки информации как материальное представление сигналов в устройствах регистрации и обработки, так и формы их математического описания при анализе данных, могут изменяться путем соответствующих операций преобразования типа сигналов.

Операция дискретизации (discretization) осуществляет преобразование аналоговых сигналов (функций), непрерывных по аргументу, в функции мгновенных значений сигналов по дискретному аргументу. Дискретизация обычно производится с постоянным шагом по аргументу (равномерная дискретизация), при этом s(t) Þ s(nDt), где значения s(nDt) представляют собой отсчеты функции s(t) в моменты времени t = nDt, n = 0, 1, 2,..., N. Частота, с которой выполняются замеры аналогового сигнала, называется частотой дискретизации. В общем случае, сетка отсчетов по аргументу может быть произвольной, как, например, s(t) Þ s(t_k), k=1, 2, …, K, или задаваться по определенному закону. В результате дискретизации непрерывный (аналоговый) сигнал переводится в последовательность чисел.

Операция восстановления аналогового сигнала из его дискретного представления обратна операции дискретизации и представляет, по существу, интерполяцию данных.

Дискретизация сигналов может приводить к определенной потере информации о поведении сигналов в промежутках между отсчетами. Однако существуют условия, определенные теоремой Котельникова-Шеннона, согласно которым аналоговый сигнал с ограниченным частотным спектром может быть без потерь информации преобразован в дискретный сигнал, и затем абсолютно точно восстановлен по значениям своих дискретных отсчетов.

Любая непрерывная функция на конечном отрезке может быть разложена в ряд Фурье, т.е. представлена в спектральной форме - в виде суммы ряда синусоид с кратными (нумерованными) частотами с определенными амплитудами и фазами. У относительно гладких функций спектр быстро убывает (коэффициенты модуля спектра быстро стремятся к нулю). Для представления "изрезанных" функций, с разрывами и "изломами", нужны синусоиды с большими частотами. Говорят, что сигнал имеет ограниченный спектр, если после определенной частоты F все коэффициенты спектра равны нулю, т.е. сигнал представляется в виде конечной суммы ряда Фурье.

Теоремой Котельникова-Шеннона устанавливается, что если спектр сигнала ограничен максимальной частотой f, то после дискретизации сигнала с частотой не менее 2f можно восстановить исходный непрерывный сигнал по полученному цифровому сигналу абсолютно точно. Для этого нужно выполнить интерполяцию цифрового сигнала "между отсчетами" специальной функцией (Котельникова-Шеннона).

Физический смысл теоремы Котельникова-Шеннона достаточно прост. Если максимальная частота в сигнале равна f, то достаточно на одном периоде этой гармоники иметь минимум 2 отсчета с известными значениями t₁ и t₂, как появляется возможность записать систему из двух уравнений (y₁=a cos 2pft₁ и y₂=a cos 2pft₂) и решить систему относительно 2-х неизвестных – амплитуды а и частоты f этой гармоники. Следовательно, частота дискретизации должна быть в 2 раза больше максимальной частоты f в сигнале. Для более низких частот это условие будет выполнено автоматически.

На практике эта теорема имеет огромное значение. Например, известно, что диапазон звуковых сигналов, воспринимаемых человеком, не превышает 20 кГц. Следовательно, при дискретизации записанных звуковых сигналов с частотой не менее 40 кГц мы можем точно восстановить исходный аналоговый сигнал по его цифровым отсчетам, что и выполняется в проигрывателях компакт-дисков для восстановления звука. Частота дискретизации звукового сигнала при записи на компакт-диск составляет 44100 Гц.

Операция квантования или аналого-цифрового преобразования (АЦП; английский термин Analog-to-Digital Converter, ADC) заключается в преобразовании дискретного сигнала s(t_n) в цифровой сигнал s(n) = s_n » s(t_n), n = 0, 1, 2,.., N, как правило, кодированный в двоичной системе счисления. Процесс преобразования отсчетов сигнала в числа называется квантованием по уровню (quantization), а возникающие при этом потери информации за счет округления – ошибками или шумами квантования (quantization error, quantization noise).

При преобразовании аналогового сигнала непосредственно в цифровой сигнал операции дискретизации и квантования совмещаются.

Операция цифро-аналогового преобразования (ЦАП; Digital-to-Analog Converter, DAC) обратна операции квантования, при этом на выходе регистрируется либо дискретно-аналоговый сигнал s(t_n), который имеет ступенчатую форму (рис. 1.2.4), либо непосредственно аналоговый сигнал s(t), который восстанавливается из s(t_n), например, путем сглаживания.

Так как квантование сигналов всегда выполняется с определенной и неустранимой погрешностью (максимум - до половины интервала квантования), то операции АЦП и ЦАП не являются взаимно обратными с абсолютной точностью.

Алиасинг. А что произойдет, если спектр аналогового сигнала был неограниченным или имел частоту, выше частоты дискретизации?

Рис. 1.2.5. Появление кажущейся частоты при дискретизации.

Предположим, что при записи акустического сигнала оркестра в помещении от какого-то устройства присутствует ультразвуковой сигнал с частотой 30 кГц. Запись выполняется с дискретизацией сигнала на выходе микрофона с типовой частотой 44.1 кГц. При прослушивании такой записи с использованием ЦАП мы услышим шумовой сигнал на частоте 30 – 44.1/2 » 8 кГц. Восстановленный сигнал будет выглядеть так, как если бы частоты, лежащие выше половины частоты дискретизации, "зеркально" от нее отразились в нижнюю часть спектра и сложились с присутствующими там гармониками. Это так называемый эффект появления ложных (кажущихся) частот (aliasing). Эффект аналогичен известному эффекту обратного вращения колес автомобиля на экранах кино и телевизоров, когда скорость их вращения начинает превышать частоту смены кадров. Природу эффекта можно наглядно видеть на рис. 1.2.5. Аналогично в главный частотный диапазон дискретных сигналов "отражаются" от частоты дискретизации и все высокочастотные шумы, присутствующие в исходном аналоговом сигнале.

Для предотвращения алиасинга следует повышать частоту дискретизации или ограничить спектр сигнала перед оцифровкой фильтрами низких частот (НЧ-фильтры, low-pass filters), которые пропускают без изменения все частоты, ниже заданной, и подавляют в сигнале частоты, выше заданной. Эта граничная частота называется частотой среза (cutoff frequency) фильтра. Частота среза анти-алиасинговых фильтров устанавливается равной половине частоты дискретизации. В реальные АЦП почти всегда встраивается анти-алиасинговый фильтр.

Графическое отображение сигналов общеизвестно и особых пояснений не требует. Для одномерных сигналов график – это совокупность пар значений {t, s(t)} в прямоугольной системе координат (рис. 1.2.1 – 1.2.4). При графическом отображении дискретных и цифровых сигналов используется либо способ непосредственных дискретных отрезков соответствующей масштабной длины над осью аргумента, либо способ огибающей (плавной или ломанной) по значениям отсчетов..

Тестовые сигналы (test signal). В качестве тестовых сигналов, которые применяются при моделировании и исследовании систем обработки данных, обычно используются сигналы простейшего типа: гармонические синус-косинусные функции, дельта-функция и функция единичного скачка.

информационная емкость сигналов

Объем информации, находящейся в обращении и необходимой для функционирования и развития современного общества, нарастает примерно пропорционально квадрату развития производительных сил. В передовых по научно-техническому развитию странах мира доля рабочей силы, занятой вопросами сбора, обработки и обеспечения информацией, превышает долю рабочей силы в сфере производства. Применение методов и средств автоматизации на всех этапах обращения информации, эффективная организация ее хранения, обработки и обмена, приобретают все большее значение в качестве основного условия успешного функционирования экономики стран.

Понятие информации.В настоящее время нет общепринятого и однозначного понимания термина "Информация". Спектр бытующих понятий весьма широк, от общего философского - информация есть отражение реального мира, до практического - информация есть сведения, являющиеся объектом хранения, передачи и преобразования. Расхождения существуют и по вопросу места информации в материальном мире. Это свойство индивидуальных объектов или результат их взаимодействия? Присуща ли информация всем видам материи или лишь определенным образом организованной материи?

В информатике под информацией понимается совокупность сведений смыслового содержания, которые можно собирать, обрабатывать, передавать и т.п. Причем именно сведений в изначальном смысле латинского слова informatio, а не данных или сигналов, которые являются носителями этих сведений. В таком понимании процессы извлечения сведений из данных и их интерпретации неразрывно связаны с разумом, а конечным результатом обработки и восприятия информации с помощью разума является раскрытие неопределенности знаний о каком-либо объекте, явлении или процессе. Но при таком подходе размывается само понятие разума.

С одной стороны, существование любого живого существа поддерживается до тех пор, пока действуют его органы чувств (датчики), преобразующие физические воздействия окружающего мира в сигналы, которые в материальной форме отображают данные об этих воздействиях. Данные собираются и интерпретируются определенной системой, которую в самой общей форме мы называем "разумом", из общей суммы данных извлекаются определенные сведения, степень неопределенности сведений об окружающей обстановке снижается, и ... лиса распутывает заячий след. Живое существо существует до тех пор, пока способно воспринимать и обрабатывать внешние и внутренние воздействия. Нет сомнений и в том, что в коллективных сообществах его члены не только способны собирать и обрабатывать информацию, но и передавать ее другим членам сообщества, как, например, в пчелиной семье точный путь до продуктивного цветочного массива. Информационный танец пчелы в этом отношении по компактности содержания ничем не уступает телеграфному сообщению. Естественно, в принятой у пчел символьной форме.

С другой стороны, если информация неразрывно связана с "разумом", то в этом случае нельзя отказать в "разуме" и электронной вычислительной машине, обыгрывающей в шахматы чемпиона мира, а равно и любым устройствам технической кибернетики, так как все они имеют системы сбора, передачи, накопления, хранения и обработки информации той или иной степени сложности, и на основе этой информации способны формировать сигналы обратной связи для управления определенными процессами.

В технических отраслях знаний, где вопросы соотношения информации с разумом не стоят на первом месте, преобладает понимание информации в виде отображения такого всеобщего свойства материи, как разнообразие, как характеристики внутренней организованности материальных систем, процессов или явлений по множеству состояний, которые для них возможны. В такой трактовке информация существует независимо от того, воспринимается она каким-либо "разумом" или нет, и является одним из свойств материальных объектов. "Информация есть информация, а не материя и не энергия" (Норберт Винер). Это свойство в какой-то мере имеет потенциальный характер. Информация может проявлять себя при взаимодействии объектов или процессов, может возникать (создаваться) и исчезать (уничтожаться).

Но и в такой трактовке возникает много вопросов, на которые трудно дать однозначные ответы. Насекомое третичного периода, неизвестное в настоящее время ученым, прилипло к капле смолы хвойного дерева. Новый слой смолы закрыл насекомое. Дерево упало, и его занесло песком. Смола превратилась в янтарь. Янтарь в потенциале содержит полную информацию о насекомом, потому как в нем десятки тысяч фрагментов ДНК - информация, достаточная для восстановления ДНК и воспроизводства насекомого, если не в настоящее время, то в ближайшем будущем. Но когда она возникла? В момент появления насекомого с его ДНК? В момент прилипания к смоле? В момент окаменения? Можно ли говорить о появлении информации, если еще не существовал субъект, способный извлечь и использовать эту информацию? Наконец, янтарь с насекомым найден и попал на глаза палеонтолога. Определен новый вид насекомого. Появилась первая частичная информация? Так может быть, информация появляется только при активном и целенаправленном воздействии на объект исследований? А если янтарь оказался непрозрачным, и его переплавили? Исчезла ли информация? И можно ли считать, что она вообще была?

Ответы на эти и подобные им вопросы тяготеют к двум полюсам, а по существу, к двум диаметрально противоположным философским позициям.

Сторонники первой позиции понимают под информацией только то, что может восприниматься, обрабатываться, осмысливаться и использоваться, т.е. является продуктом процесса сбора, организации, систематизации и использования сведений о материальных объектах и процессах.

Противоположная позиция, это понятие информации как свойства объектов и процессов воспринимать и перерабатывать внутреннее состояние и внешнее воздействие окружающей среды, сохранять его результаты и передавать их другим объектам. С этой позиции все материальные объекты и процессы являются источниками, носителями и потребителями информации, на основе которой и идет развитие реального мира. По существу, это соответствует принятию материальности информации и информационной основы мироздания.

При неопределенности самого понятия информации можно достаточно обоснованно считать, что информация проявляется, хранится и передается от одного объекта к другому в материально - энергетической форме в виде сигналов. Сигналом, как материальным носителем информации, может быть любой физический процесс (электрический, магнитный, оптический, акустический и пр.), определенные параметры которого (амплитуда, частота, энергия, интенсивность и др.) однозначно отображают информационные данные (сообщения).

Количественная мера информации.Теория любого явления начинается с появления количественных взаимоотношений между объектами исследований, т.е. при установлении принципов измеряемости каких-либо свойств объектов. Единицу количественной меры информации - БИТ (сокращение binary digit - двоичная цифра), впервые предложил Р. Хартли в 1928 году. 1 бит - это информация о двух возможных равновероятных состояниях объекта, неопределенность выбора из двух равновероятных событий. Математически это отображается состоянием 1 или 0 одного разряда двоичной системы счисления. Количество информации Н (в битах), необходимое и достаточное для полного снятия неопределенности состояния объекта, который имеет N равновозможных состояний, измеряется как логарифм по основанию 2 из числа возможных состояний:

H = log ₂ N. (1.4.1)

Соответственно, двоичный числовой информационный код одного из N возможных состояний объекта занимает Н двоичных разрядов.

Пример. Необходимо поднять груз на определенный этаж 16 -ти этажного здания (нумерация этажей 0-15, N = 16). Сколько бит информации полностью определяют задание?

H = log₂ N = log₂ 16 = 4.

Следовательно, 4 бита информации необходимы и достаточны для полного снятия неопределенности выбора. В этом можно убедиться применением логики исчисления с последовательным делением пополам интервалов состояний. Например, для 9-го этажа:

1. Выше 7-го этажа? Да = 1. 2. Выше 11-го этажа? Нет = 0.

3. Выше 9-го этажа? Нет = 0. 4. Выше 8-го этажа? Да = 1.

Итог: этаж номер 9 или 1001 в двоичном исчислении, четыре двоичных разряда.

Если в приведенном примере на этажах имеется по 4 квартиры с нумерацией на каждом этаже 0-3 (М=4), то при адресации груза в квартиру потребуется еще 2 бита информации. Такой же результат получим, если вместо независимой нумерации этажей и квартир на этажах (два источника неопределенности) будем иметь сквозную нумерацию квартир (обобщенный источник):

H = log ₂ N + log ₂ M = log ₂ 16 + log ₂ 4 = 6 º log ₂ (N ´ M) = log ₂ 64 = 6,

т.е. количество информации отвечает требованию аддитивности: неопределенность объединенного источника равна сумме неопределенностей исходных источников, что соответствует интуитивному требованию к информации: она должна быть однозначной, а ее количество должно быть одним и тем же независимо от способа задания.

Основание логарифма не имеет принципиального значения и определяет только масштаб или единицу неопределенности. Так, если за единицу неопределенности принять три равновероятных состояния, то для определения, например, одной фальшивой золотой монеты (более легкой) из 27 внешне неотличимых монет потребуется только H = log ₃ 27 = 3, т.е. три взвешивания на равноплечных весах. Логику исчисления взвешиваний предлагается определить самостоятельно.

Двоичная мера информации получила общее признание в связи с простотой реализации информационной техники на элементах с двумя устойчивыми состояниями. В десятичном исчислении единицей информации является один десятичный разряд - ДИТ.

Энтропия источника информации.Степень неопределенности состояния объекта (или так называемого источника информации) зависит не только от числа его возможных состояний, но и от вероятности этих состояний. При неравновероятных состояниях свобода выбора для источника ограничивается. Так, если из двух возможных состояний вероятность одного из них равна 0.999, то вероятность другого состояния соответственно равна 1-0.999 = 0.001, и при взаимодействии с таким источником результат практически предрешен.

В общем случае, в соответствии с теорией вероятностей, источник информации однозначно и полно характеризуется ансамблем состояний U = {u₁, u₂,..., u_N} с вероятностями состояний соответственно {р(u₁), р(u₂),..., р(u_N)} при условии, что сумма вероятностей всех состояний равна 1. Мера количества информации, как неопределенности выбора дискретным источником состояния из ансамбля U, предложена К. Шенноном в 1946 году и получила название энтропии дискретного источника информации или энтропии конечного ансамбля:

H(U) = - p_n log₂ p_n. (1.4.2)

Выражение Шеннона совпадает с выражением Больцмана для энтропии физических систем при оценке степени разнообразия их состояний. Мера энтропии Шеннона является обобщением меры Хартли на случай ансамблей с неравновероятными состояниями, в чем нетрудно убедиться, если в выражении (1.4.2) значение p_n заменить значением p=1/N для ансамбля равновероятных состояний. Энтропия конечного ансамбля H(U) характеризует неопределенность, приходящуюся в среднем на одно состояние ансамбля.

Учитывая, что в дальнейшем во всех математических выражениях, касающихся энтропии, мы будем использовать только двоичное основание логарифма, индекс 2 основания логарифма в формулах будем подразумевать по умолчанию.

ui	pi	ui	pi	ui	pi	ui	pi	ui	pi
а	.064	з	.015	о	.096	х	.009	э	.003
б	.015	и	.064	п	.024	ц	.004	ю	.007
в	.039	й	.010	р	.041	ч	.013	я	.019
г	.014	к	.029	с	.047	ш	.006	-	.124
д	.026	л	.036	т	.056	щ	.003
е,ё	.074	м	.026	у	.021	ъ,ь	.015
ж	.008	н	.056	ф	.020	ы	.016

Пример.Вычислить энтропию ансамбля 32 букв русского алфавита. Вероятности использования букв приведены в таблице. Сравнить энтропию с неопределенностью, которая была бы у алфавита при равновероятном их использовании.

Неопределенность на одну букву при равновероятности использования:

H(u) = log 32 = 5

Энтропия алфавита по ансамблю таблицы:

H(u) = - 0.064 log 0.064 - 0.015 log 0.015 - . . . . . . . . . . . . . . . . . . - 0.143 log 0.143 » 4.42.

Таким образом, неравновероятность состояний снижает энтропию источника.