Структурная мера информации. Аддитивная мера Хартли. Научное обозрение. Технические науки

1

В работе представлена модель определения логарифмической меры информации. Из структуры технической системы выделяется объект, и рассматриваются его вероятностные состояния отказа и работы. Когда состояния равновероятны, предлагается использовать меру Хартли, а для неравновероятных – меру Шеннона для одного и многих объектов, если они взаимонезависимы. Модель учитывает возможности определения меры информации только для одного объекта. Все состояния объекта разбиты на два класса. Каждый из выделенных классов формируется на основе данных о потоке неравновероятных событий. Для каждого класса состояний объекта определены суммарные и обобщенные вероятности работоспособности и отказа. Данные вероятности нашли применение в полученных математических выражениях для определения меры неопределенности информации. Показано, что полученные формулы идентичны и применимы как при использовании суммарной вероятности, так и обобщенной вероятности.

LOGARITHMIC MEASURE OF INFORMATION OF THE CONDITION OF TECHNICAL OBJECT

Dulesov A.S. 1 Kabaeva E.V. 1

1 Khakass State University n.a. N.F. Katanov

Abstract:

The article presents the modifier of logarithmic measure of information model. An object is picked out from the technical system, and its probabilistic states of failure and work are analyzed. When the states are equiprobable it is recommended to use Hartley’s measure, and when they are not equiprobable Shanon’s measure is preferable for one or more interindependent objects. The model considers the capability of modifying the measure of information only for one object. All states of the object are divided into two classes. Each class is based on data of the flow of the inequiprobable events. The total and generalized probabilities of efficiency and failure are determined for the object’s states of each class. The studied probabilities are used in the mathematical formulas for modifying the measure of the uncertainty of information. It is shown that the formulas are identical and may be applied both for the total and generalized probability.

Keywords:

Библиографическая ссылка

Дулесов А.С., Кабаева Е.В. ЛОГАРИФМИЧЕСКАЯ МЕРА ИНФОРМАЦИИ СОСТОЯНИЯ ТЕХНИЧЕСКОГО ОБЪЕКТА // Научное обозрение. Технические науки. – 2014. – № 1. – С. 146-146;
URL: http://science-engineering.ru/ru/article/view?id=204 (дата обращения: 06.04.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Аддитивная мера (мера Хартли) использует понятия глубины А и длины n числа.

Глубина числа - количество символов (элементов), принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.

Длина n числа - количество позиций, необходимых и достаточных для представления чисел заданной величины.

Эти понятия могут быть распространены и на вариант нечислового сообщения. В этом случае глубина числа тождественна размеру алфавита, а длина числа - разрядности слова при передаче символьного сообщения.

Если сообщение - число, понятие глубины числа будет трансформировано в понятие основания системы счисления. При заданных глубине и длине числа количество чисел, которое можно представить, N = А n . Очевидно, что N однозначно характеризует степень исходной неопределенности. Исходная неопределенность по Хартли определяется

H 1 = log a N . (4)

Неопределенность после получения сообщения, остаточная неопределенность,

H 2 = log a N* , (5)

где N* - число возможных значений принятого слова после получения сообщения.

Основание логарифма в (5) определяет только единицы измерения неопределенности. При a=2 это двоичная единица информации, называемая бит. При a = 10 десятичная (дит ), при a =e натуральная (нат ). Далее мы будем всегда пользоваться двоичной единицей.

N* равно единице, если после получения информации нет неопределенности, т.е. получатель гарантировано получил то сообщение, которое было передано. Если получателю приходится после приема информации выбирать сообщения из некоторого множества, а это происходит тогда, когда в канале связи за счет влияния помех возникают искажения переданного сигнала, то характеризует число возможных сообщений при выборе. Таким образом, если передается символ некоторого алфавита, N* определяет возможную неоднозначность приема символа за счет искажений в канале связи. В случае измерительного опыта, число N* - характеризует число возможных значений величины после измерения и определяет погрешность измерения.

Очевидно, что должно быть N* < N, а N* = 1 только в идеальном случае передачи сообщения без потери информации или, что то же самое, измерения некоторой физической величины без ошибок. Количество информации по Хартли оценивается как

I=H 1 – H 2 = log a N - loga N* n = log a N/ N* . (6)

Логарифмическая мера, позволяющая, вычислять количество информации, содержащейся в сообщении, переданном числом длиной n и глубиной А :

I(q) =log 2 N=n log 2 А , бит . (7)

Следовательно, 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она обеспечивает возможность оперировать мерой как числом. Из сравнения (7) и (2) следует, что численное значение неопределенности определяет число двоичных разрядов, необходимое для кодирования символа алфавита А .

Логарифмическая мера для неопределенности и информации выбрана не случайно. Она оказывается удобной при описании сложных опытов. Допустим, что задача состоит в одновременном приеме информации от двух источников, не зависящих друг от друга. При этом N 1 и n 1 - число возможных сообщений до и после приема информации от первого источника, а - N 2 и n 2 от второго. Пусть H 11 и H 12 - исходная неопределенность знания первого и второго сообщения, соответственно, первого и второго источника. Естественно потребовать, чтобы общая неопределенность знания о двух сообщениях определялась суммой неопределенностей каждого, т.е. мера должна обладать свойством аддитивности

H = H 11 + H 12 .

Число возможных сочетаний двух независимых величин из множеств N 1 N 2 N = N 1 N 2 .

Тогда исходная неопределенность H =H 11 + H 12 , аналогично остаточная неопределенность H=H 21 +H 22 .

При наличии нескольких источников информации общее количество информации

I(q 1 , q 2 , ...,q n)= I(q 1)+ I(q 2)+...+I(q k) , (8)

где I(q k) - количество информации от источника k .

Логарифмическая мера информации позволяет измерять количество информации и широко используется на практике. Однако всегда надо учитывать, что все сообщения в этой мере полагаются равновероятными и независимыми. Эти допущения приводит на практике к существенно завышенным оценкам.

Примечание. Для рассмотрения дальнейшего материала необходимо использовать понятие «вероятность события» . Под вероятностью события (см., например, Лютикас В.С. Факультативный курс по математике. Теория вероятностей. М.: Просвещение, 1990.) принимается постоянная величина, около которой группируются значения частоты появление некоторого события, например, передачи одного из символов алфавита. Если частота появления любого символа алфавита при передаче длинной последовательности символов одинакова, то говорят о равновероятных событиях, символах, сообщениях и т.п. Независимыми сообщения полагают, если вероятности их передачи не зависят от того, какие сообщения были переданы ранее.

©2015-2019 сайт
Все права принадлежать их авторам. Данный сайт не претендует на авторства, а предоставляет бесплатное использование.
Дата создания страницы: 2017-12-29

Интуитивно ясно, что количество информации, которое может быть запасено в физической системе, возрастает с числом различимых состояний, в которые она может переводиться. Это число будет N = m n , если система состоит из n ячеек (элементов) с одинаковым числом m возможных состояний. В более сложном случае, если бы система состояла из определенным образом расположенных n1 ячеек, имеющих m1 возможных состояний, n2 ячеек, имеющих m2 возможных состояний, и т. д., это число было бы N = m1n1 · m2n2....

Для встречающихся в практике случаев N исключительно велико. Так, например, на небольшом фототелеграфном бланке размерами 50 см 2 и разрешающей способностью 50 элементов на 1 см может быть запасено любое из 2 125000 различных двухградационных изображений (мы отвлекаемся пока от того, что подавляющее большинство этих изображений не будет иметь смысла). Это число невозможно себе представить, настолько оно велико.

Число возможных состояний N нецелесообразно принимать за количественную меру для сравнения способности различных систем хранить или передавать информацию. Причина однако, не в том, что пришлось бы иметь дело со столь большими числами. Такая мера была бы практически неудобна и не соответствовала нашим интуитивным представлениям. Кажется очевидным, например, что удвоение площади фототелеграфного бланка приведет к удвоению количества информации, которое может быть запасено там. Между тем количество возможных изображений возрастает при этом не в два раза, а во второй степени.

Хартли в цитированной работе предложил выбрать в качестве количественной меры для сравнения способности различных систем хранить или передавать информацию логарифм числа различимых состояний N

Основание логарифмов определяет единицы, в которых выражена информационная емкость. Наиболее употребительны в этих случаях двоичные логарифмы. Величина

будет при этом выражена в двоичных единицах.*
Очевидно, что если N = mn, то

Информационная емкость одной ячейки, имеющей m различимых состояний, будет log 2 m дв. ед. Из (29) видно, что информационная емкость системы, составленной из n ячеек, равна сумме элементарных информационных емкостей этих ячеек. В частности, для рассмотренного ранее примера получится, что информационная емкость бланка log 2 2n = n равна сумме информационных емкостей двух его половин,

Таким образом, логарифмическая мера информационной емкости соответствует нашим интуитивным представлениям.

Из формулы (29) видно, что информационная емкость быстро - по линейному закону - возрастает с увеличением числа накопительных ячеек п и гораздо медленнее - по логарифмическому закону - возрастает с увеличением числа различимых состояний (градаций) т каждой ячейки.

Оказывается проще для получения той же информационной емкости создавать накопители с большим числом ячеек, имеющих малое число различимых состояний, чем накопители с меньшим числом ячеек, но имеющих соответственно большее число различимых состояний. Иными словами, обмен числа градаций на число накопительных ячеек обычно бывает выгоден. Информационная емкость четырехэлементного двухградационного изображения C=41og 2 2=4 равна информационной емкости одного элемента, имеющего 16 градаций, C=1log 2 16=4. Но сделать накопитель с ячейками, имеющими 16 различимых состояний, гораздо труднее, чем накопитель с вчетверо большим числом ячеек, каждая из которых имеет лишь два различимых состояния.

* Иногда вместо «двоичная единица» пишут «бит» (от английского binary digit - двоичная единица).

Комбинаторная мера

Для лучшего понимания рассмотрим несколько простейших примеров.

Пример 1 . Проведем опыт. Возьмем игральный кубик. Он имеет шесть сторон, на каждой из которых изображены числа от одного до шести.

Подбросим его. При бросании кубика выпадает одно из имеющихся на сторонах кубика число. Получившееся таким образом число - есть исход нашего опыта.

Подбрасывая игральный кубик сколь угодно раз, мы можем получить только шесть возможных чисел. Обозначим это как N = 6.

Этот пример позволяет перейти к понятию комбинаторной меры информации и дать следующее определение:

Комбинаторная мера информации N - это способ измерения количества информации путем оценки количества возможных комбинаций информационных элементов.

Поскольку в примере с игральным кубиком возможно только шесть вариантов исхода опыта, иными словами, шесть комбинаций, то и количество информации в соответствии с комбинаторной мерой составляет N = 6 комбинаций.

Рассмотрим следующий пример.

Пример 2. Пусть задана одна из десятичных цифр, например, цифра 8 и одна из шестнадцатеричных – к примеру, цифра 6 (можно было взять любую другую шестнадцатеричную - 8, В, F и т. д.). Теперь, в соответствии с определением комбинаторной меры, определим количество информации, заключенное в каждой из этих цифр. Поскольку цифра 8 является десятичной, а значит, представляет один символ из десяти, то N 8 = 10 комбинаций. Аналогично, цифра 6 представляет один из шестнадцати символов, а поэтому N 6 = 16 комбинаций. Следовательно, что шестнадцатеричная цифра содержит больше информации, чем десятичная.

Из рассмотренного примера можно сделать вывод, что чем меньше цифр находится в основании системы счисления, тем меньше информации несет в себе один ее элемент.

Английский инженер Р. Хартли предложил измерять количество информации двоичной логарифмической мерой:

где N - количество различных комбинаций информационных элементов. Единицей измерения информации при таком измерении является бит.

Поскольку выведенная Р.Хартли формула учитывает количество возможных комбинаций N, то интересно узнать, какую оценку количества информации дает двоичная логарифмическая мера для рассмотренных выше примеров.

Подсчет дает следующие результаты:

в примере с кубиком I = log 2 6 = 2,585 бит;

в примере с десятичной системой счисления I = log 2 10 = 3,322 бит;

в примере с шестнадцатеричной системой счисления I = log 2 16 = 4 бит;

в примере с двоичной системой счисления I = log 2 2 = 1 бит.

Последняя цифра говорит о том, что в каждой цифре двоичной системы счисления содержится один бит информации. Вообще, в технических системах двоичная система счисления применяется для кодировки двух возможных состояний, например 1 обозначает наличие электрического тока в сети, 0 - его отсутствие.

Во всех рассмотренных выше примерах исходы опытов были равновероятными и взаимно независимыми. Это означает, что при подбрасывании кубика каждая из шести граней имеет одинаковую вероятность результативного исхода. А также, что результат следующего подбрасывания никак не зависит от результата предшествующего.

Равновероятные и взаимно независимые события в реальной жизни встречаются довольно редко. Если обратить внимание на разговорные языки, например русский, то можно сделать интересные выводы. Для упрощения теоретических исследований в информатике принято считать, что русский алфавит состоит из 32 символов (е и ё, а также ь и ъ между собой не различаются, но добавляется знак пробела между словами). Если считать, что каждая буква русского языка в сообщении появляется одинаково часто и после каждой буквы может стоять любой другой символ, то можно определить количество информации в каждом символе русского языка как:

I = log 2 32 = 5.

Однако, фактически все бывает не так. Во всех разговорных языках одни буквы встречаются чаще, другие - гораздо реже. Исследования говорят, что на 1000 букв приходится следующее число повторений:

Кроме того, вероятность появления отдельных букв зависит от того, какие буквы им предшествуют. Так, в русском языке после гласной не может следовать мягкий знак, не могут стоять четыре гласные подряд и так далее. Любой разговорный язык имеет свои особенности и закономерности. Поэтому количество информации в сообщениях, построенных из символов любого разговорного языка, нельзя оценивать ни комбинаторной, ни двоичной логарифмической мерами.

6.1. Мера количества информации

В теории информации изучаются количественные закономерности передачи, хранения,и обработки информации.

Назначение любой системы связи - передать в течение заданного времени как можно больше достоверных сведений от одного объекта или корреспондента к другому.

Проблема достоверности при различных способах приема и передачи сообщений рассматривалась в теории помехоустойчивости. Эта теория, как мы убедились, позволяет не только найти достоверность передачи при заданных условиях, но и выяснить, при каких методах передачи и обработки сигналов эта достоверность будет наибольшей.

В теории информации основное внимание уделяется определению средней скорости передачи информации и решению задачи максимизации этой скорости путем применения соответствующего кодирования . Предельные соотношения теория информации позволяют оценить эффективность различных систем связи и установить условия согласования, в информационном отношении источника с каналом и канала с потребителем.

Для исследования этих вопросов с общих позиций необходимо прежде всего установить универсальную количественную меру информации, не зависящую от конкретной физической природы передаваемых сообщений. Когда принимается сообщение о каком-либо событии, то наши знания о нем изменяются. Мы получаем при этом некоторую информацию об этом событии. Сообщение о хорошо известном нам событии, очевидно, никакой информации не несет. Напротив, сообщение о малоизвестном событии содержит много информации. Например, сообщение бюро погоды от 20 июня о том, что в Одессе «завтра выпадет снег» несет больше информации, чем сообщение «завтра ожидается ясная погода». Первое сообщение является неожиданным, оно несет сведения о редком, маловероятном явлении и поэтому содержит много информации. Второе сообщение является весьма вероятным, оно содержит мало нового и поэтому несет мало информации.

Таким образом, количество информации в сообщении о некотором событии существенно зависит от вероятности этого события.

Вероятностный подход и положен в основу определения меры количества информации. Для количественного определения информации, в принципе, можно использовать любую монотонно убывающую функцию вероятности F [ P (a )] где Р(а) - вероятность, сообщения а. Простейшей из них является функция F =1/Р(а) которая характеризует меру неожиданности (неопределенности) сообщения. Однако удобнее исчислять количество информации а логарифмических единицах, т. е. определять количество информации в отдельно взятом сообщении как

Так как 0< P (a ) l , то J (a ) - величина всегда положительная и конечная. При Р(а)=1 количество информации равно нулю, т. е., сообщение об известном событии никакой информации не несет. Логарифмическая мера обладает естественным в данном случае свойством аддитивности, согласно которому количество информации, содержащееся в нескольких независимых сообщениях, равна сумме количества информации в каждом из них. Действительно, так как совместная вероятность п независимых сообщений , то количество информации а этих сообщениях равно: , что соответствует интуитивным представлениям об увеличении информации при получении дополнительных сообщений. Основание логарифма k может быть любым. Чаще всего принимают k =2, и тогда количество информации выражается в двоичных единицах: дв. ед.

Двоичную единицу иногда называют бит. Слово бит произошло от сокращения выражения binary digit (двоичная цифра). В двоичных системах связи для передачи сообщения используется два символа, условно.обозначаемых 0 и 1. В таких системах при независимых и равновероятных символах, когда P (0) = P (1)=1/2 , каждый из них несет одну двоичную единицу информации:

Формула (6.1) позволяет вычислять количество информация в. сообщениях, вероятность которых отлична от нуля. Это, в свою очередь, предполагает, что сообщения дискретны, а их число ограничено. В таком случае принято говорить об ансамбле сообщений, который описывается совокупностью возможных сообщений и их вероятностей:

(6.2)

Ансамбль сообщений образует полную группу событий, поэтому всегда .

Если все сообщения равновероятны:, то количество информации в каждом из них определяется величиной

Отсюда следует, что количество информации в сообщении зависит от ансамбля, из которого, оно выбрано. До передачи сообщения имеется неопределенность относительно того, какое из m сообщений ансамбля будет передано после приема сообщения эта неопределенность снимается. Очевидно, чем больше т, тем больше неопределенность и тем большее количество информации содержится в переданном сообщении.

Рассмотрим пример. Пусть ансамбль возможных сообщений представляет собой алфавит, состоящий из m различных букв. Необходимо определить, какое количество информации содержится в передаваемом слове длиной п букв, если вероятности появления букв одинаковы, а сами буквы следуют независимо друг от друга. Количество информации при передаче одной буквы:. Так как все буквы равновероятны, то и количество информации, содержащееся в любой букве,. Буквы следуют независимо поэтому количество информации в слове из п букв

К определению информации можно подойти и с другой стороны. Будем рассматривать в качестве сообщения не отдельную букву, а целое слово. Если все буквы равновероятны и следуют независимо, то все слова будут также равновероятны и , где N = m n - число возможных слов. Тогда можно записать

Для двоичного кода ансамбль элементарных сообщений состоит из двух элементов 0 и 1 (m =2). В этом случае сообщение из п элементов несет информацию,

В общем случае при передаче сообщений неопределенность снимается не полностью. Так, в канале с шумами возможны ошибки. По принятому сигналу v только с некоторой вероятностью можно судить о том, что было передано сообщение а. Поэтому после получения сообщения остается некоторая неопределенность, характеризуемая величиной апостериорной вероятности P (a / v ), а количество информации, содержащееся в сигнале v , определяется степенью уменьшения неопределенности при его приеме. Если Р(а) - априорная,вероятность, то количество информации в принятом сигнале v относительно переданного сообщения а, очевидно, будет равно:

Это выражение можно рассматривать также как разность между количеством информации, поступившим от источника сообщений, и тем количеством информации, которое потеряло в канале за счет действия шумов.