какая запись является формулой хартли

Опорный конспект на тему «Формулы Хартли-Шеннона»

Формулы Хартли, Шеннона.

В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:

Иногда формулу Хартли записывают так:

т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.

Шарик находится в одной из трех урн: А, В или С. Определить сколько бит информации содержит сообщение о том, что он находится в урне В.

Такое сообщение содержит I = log ₂ 3 = 1,585 бита информации.

Но не все ситуации имеют одинаковые вероятности реализации. Существует много таких ситуаций, у которых вероятности реализации различаются. Например, если бросают несимметричную монету или «правило бутерброда».

«Однажды в детстве я уронил бутерброд. Глядя, как я виновато вытираю масляное пятно, оставшееся на полу, старший брат успокоил меня:

— не горюй, это сработал закон бутерброда.

Проверили. Из десяти раз восемь бутерброд упал маслом вниз.

И тут я задумался: а можно ли заранее узнать, как сейчас упадет бутерброд маслом вниз или вверх?

Наши опыты прервала мать…»

( Отрывок из книги «Секрет великих полководцев», В.Абчук).

В 1948 г. американский инженер и математик К. Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями.

то количество информации для событий с различными вероятностями можно определить по формуле:

где i принимает значения от 1 до К.

Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:

При равновероятных событиях получаемое количество информации максимально.

Физиологи и психологи научились определять количество информации, которое человек может воспринимать при помощи органов чувств, удерживать в памяти и подвергать обработке. Информацию можно представлять в различных формах: звуковой, знаковой и др. рассмотренный выше способ определения количества информации, получаемое в сообщениях, которые уменьшают неопределенность наших знаний, рассматривает информацию с позиции ее содержания, новизны и понятности для человека. С этой точки зрения в опыте по бросанию кубика одинаковое количество информации содержится в сообщениях «два», «вверх выпала грань, на которой две точки» и в зрительном образе упавшего кубика.

При передаче и хранении информации с помощью различных технических устройств информацию следует рассматривать как последовательность знаков (цифр, букв, кодов цветов точек изображения), не рассматривая ее содержание.

Молекулы ДНК (дезоксирибонуклеиновой кислоты) состоят из четырех различных составляющих (нуклеотидов), которые образуют генетический алфавит. Информационная емкость знака этого алфавита составляет:

Каждая буква русского алфавита (если считать, что е=ё) несет информацию 5 бит (32 = 2 I ).

При таком подходе в результате сообщения о результате бросания кубика, получим различное количество информации, Чтобы его подсчитать, нужно умножить количество символов на количество информации, которое несет один символ.

Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на число знаков в сообщении.

Пример 1. Использование формулы Хартли для вычисления количества информации. Сколько бит информации несет сообщение о том, что

поезд прибывает на один из 8 путей?

где N – число равновероятностных исходов события, о котором речь идет в сообщении,

I – количество информации в сообщении.

I = log ₂ 8 = 3(бит) Ответ: 3 бита.

Модифицированная формула Хартли для неравновероятностных событий. Так как наступление каждого из N возможных событий имеет одинаковую вероятность

Количественная зависимость между вероятностью события (p) и количеством информации в сообщении о нем (I) выражается формулой:

Пример 2. В классе 30 человек. За контрольную работу по математике получено 6 пятерок, 15 четверок, 8 троек и 1 двойка. Сколько бит информации несет сообщение о том, что Иванов получил четверку?

Количественная зависимость между вероятностью события (p) и количество информации сообщения о нем (I)

вероятность события 15/30

количество информации в сообщении =log ₂ (30/15)=log ₂ 2=1.

Использование формулы Шеннона. Общий случай вычисления количества информации в сообщении об одном из N, но уже неравновероятных событий. Этот подход был предложен К.Шенноном в 1948 году.

Основные информационные единицы:

I – информационный объем сообщения

Значение I _ср достигает максимума при равновероятных событиях, то есть при равенстве всех p _i p _i = 1 / N.

В этом случае формула Шеннона превращается в формулу Хартли.

Будем считать, что вероятность появления символа в сообщении совпадает с частотой его появления в текстах. Поэтому буква «а» встречается со средней частотой 200/1000=0,2; Вероятность появления буквы “а” в тексте (p _a )можем считать приблизительно равной 0,2;

Значение I _ср достигает максимума при равновероятных событиях, то есть при равенстве всех p _i

В этом случае формула Шеннона превращается в формулу Хартли.

При составлении таблицы мы должны учитывать:

Ввод данных (что дано в условии).

Подсчет общего количества числа возможных исходов (формула N=K ₁ +K ₂ +…+K _i ).

Подсчет вероятности каждого события (формула p _i = К _i /N).

Подсчет количества информации о каждом происходящем событии (формула I _i = log ₂ (1/p _i )).

Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

В коробке лежат кубики: 10 красных, 8 зеленых, 5 желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и количество информации, которое при этом будет получено.

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Источник

Формула Хартли

Из Википедии — свободной энциклопедии

Формула Хартли или хартлиевское количество информации или мера Хартли — логарифмическая мера информации, которая определяет количество информации, содержащееся в сообщении.

Где N — количество символов в используемом алфавите (мощность алфавита), K — длина сообщения (количество символов в сообщении), I — количество информации в сообщении в битах.

Формула была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений.

Для случая определения количества информации i в одном символе алфавита мощности N, формула Хартли принимает вид:

Соответственно, мощность алфавита равна:

Из формулы Хартли следует, что алфавит, содержащий только 1 символ не может быть использован для передачи информации:

Пусть, имеется алфавит А, из N букв которого составляется сообщение:

Количество возможных вариантов разных сообщений:

где M — возможное количество различных сообщений, N — количество букв в алфавите, K — количество букв в сообщении.

Рассмотрим следующий пример. Цепь ДНК состоит из 4 видов азотистых оснований: Аденин (A), Гуанин (G), Тимин (T), Цитозин (C). Следовательно, мощность «алфавита» ДНК N равна 4. Значит, каждое азотистое основание несет i = log 2 ⁡ 4 = 2 <\displaystyle i=\log _<2>4=2> бита информации.

Пример: Пусть алфавит состоит из 16 символов «1», «2», «3», «4», «5», «6», «7», «8», «9», «0», «+», «-», «*», «/», «^», «#», а длина сообщения составляет 10 символов (например, команда «*123*1*3^#») — таким образом, мощность алфавита N = 16, а длина сообщения K = 10. При выбранных нами алфавите и длине сообщения можно составить M = N K = 16 10 = 1099511627776 <\displaystyle M=N^=16^<10>=1099511627776> сообщений. По формуле Хартли можно определить, что количество информации в каждом символе одного из этих сообщений равно i = log 2 ⁡ N = log 2 ⁡ 16 = 4 <\displaystyle i=\log _<2>N=\log _<2>16=4> бита, а количество информации во всем сообщении, соответственно, равно I = K log 2 ⁡ N = 10 log 2 ⁡ 16 = 10 ⋅ 4 = 40 <\displaystyle I=K\log _<2>N=10\log _<2>16=10\cdot 4=40> бит.

Источник

Какая запись является формулой хартли

1.2. Формула Хартли измерения количества информации. Закон аддитивности информации

Как уже упоминалось выше, в качестве основной единицы измерения информации мы будем использовать бит. Соответственно, с точки зрения алфавитного подхода мы будем кодировать информацию при помощи нулей и единиц (двоичных знаков).

Для того чтобы измерить количество информации в сообщении, надо закодировать сообщение в виде последовательности нулей и единиц наиболее рациональным способом, позволяющим получить самую короткую последовательность. Длина полученной последовательности нулей и единиц и является мерой количества информации в битах.

Поставим себе одну из наиболее часто встречающихся задач в теории информации. Пусть у нас есть `N` возможных равновероятных вариантов исходов некоторого события. Какое количество информации нам нужно получить, чтобы оставить только один вариант?

Например, пусть мы знаем, что некоторая интересная для нас книга находится на одной из полок нашего книжного шкафа, в котором `8` полок. Какое количество информации нам нужно получить, чтобы однозначно узнать полку, на которой находится книга?

Решим эту задачу с точки зрения содержательного и алфавитного подходов. Поскольку изначально в шкафу было `8` полок, а в итоге мы выберем одну, следовательно, неопределённость знания о местоположении книги уменьшится в `8` раз. Мы говорили, что один бит – это количество информации, уменьшающее неопределённость знания в `2` раза. Следовательно, мы должны получить `3` бита информации.

Теперь попробуем использовать алфавитный подход. Закодируем номера всех полок при помощи `0` и `1`. Получим следующие номера: `000, 001, 010, 011, 100, 101, 110, 111`. Для того чтобы узнать, на какой полке находится книга, мы должны узнать номер этой полки. Каждый номер состоит из `3` двоичных знаков. А по определению, `1` бит (в алфавитном подходе) – это количество информации в сообщении, состоящем из `1` двоичного знака. То есть мы тоже получим `3` бита информации.

Прежде чем продолжить рассмотрение поставленной общей задачи введём важное математическое определение.

Назовём логарифмом числа `N` по основанию `a` такое число `X`, что Обозначение:

На параметры логарифма налагаются некоторые ограничения. Число `N` обязательно должно быть строго больше `0`. Число `a` (основание логарифма) должно быть также строго больше нуля и при этом не равняться единице (ибо при возведении единицы в любую степень получается единица).

Теперь вернёмся к нашей задаче. Итак, какое же количество информации нам нужно получить, чтобы выбрать один исход из `N` равновероятных? Ответ на этот вопрос даёт формула Хартли: `H=log_aN`, где `N` – это количество исходов, а `H` – количество информации, которое нужно получить для однозначного выбора `1` исхода. Основание логарифма обозначает единицу измерения количества информации. То есть если мы будем измерять количество информации в битах, то логарифм нужно брать по основанию `2`, а если основной единицей измерения станет трит, то, соответственно, логарифм берётся по основанию `3`.

Рассмотрим несколько примеров применения формулы Хартли.

В библиотеке `16` стеллажей, в каждом стеллаже `8` полок. Какое количество информации несёт сообщение о том, что нужная книга находится на четвёртой полке?

Решим эту задачу с точки зрения содержательного подхода. В переданном нам сообщении указан только номер полки, но не указан номер стеллажа. Таким образом, устранилась неопределённость, связанная с полкой, а стеллаж, на котором находится книга, мы всё ещё не знаем. Так как известно, что в каждом стеллаже по `8` полок, следовательно, неопределённость уменьшилась в `8` раз. Следовательно, количество информации можно вычислить по формуле Хартли `H=log_2 8=3` бита информации.

Имеется `27` монет, одна из которых фальшивая и легче всех остальных. Сколько потребуется взвешиваний на двухчашечных весах, чтобы однозначно найти фальшивую монету?

В этой задаче неудобно использовать бит в качестве основной единицы измерения информации. Двухчашечные весы могут принимать три положения: левая чаша перевесила, значит, фальшивая монета находится в правой; правая чаша перевесила, значит, монета находится в левой; или же весы оказались в равновесии, что означает отсутствие фальшивой монеты на весах. Таким образом, одно взвешивание может уменьшить неопределённость в три раза, следовательно, будем использовать в качестве основной единицы измерения количес-тва информации трит.

По формуле Хартли `H = log _3 27 = 3` трита. Таким образом, мы видим, что для того чтобы найти фальшивую монету среди остальных, нам потребуется три взвешивания.

Логарифмы обладают очень важным свойством: `log_a(X*Y)=log_aX+log_aY`.

Если переформулировать это свойство в терминах количества информации, то мы получим закон аддитивности информации: Коли-чество информации`H(x_1, x_2)`, необходимое для установления пары `(x_1, x_2)`, равно сумме количеств информации `H(x_1)` и `H(x_2)`, необходимых для независимого установления элементов `x_1` и `x_2`:

Проиллюстрируем этот закон на примере. Пусть у нас есть игральная кость в форме октаэдра (с `8` гранями) и монета. И мы одновременно подбрасываем их вверх. Нужно узнать, какое количество информации несёт сообщение о верхней стороне монеты после падения (орёл или решка) и числе, выпавшему на игральной кости.

Игральная кость может упасть `8` различными способами, следовательно, по формуле Хартли можно вычислить, что, определив число, выпавшее на игральной кости, мы получаем `3` бита информации. Соответственно, монета может упасть только `2` способами и несёт в себе `1` бит информации. По закону аддитивности информации мы можем сложить полученные результаты и узнать, что интересующее нас сообщение несёт `4` бита информации.

Если в результате вычислений по формуле Хартли получилось нецелое число, а в задаче требуется указать целое число бит, то результат следует округлить в большую сторону.

Источник

Формула Хартли

Введение

Не получается понять каким образом производят измерение количества информации с помощью формулы Хартли? Выход есть! Записывайтесь ко мне на репетиторский урок по информатике и ИКТ. На своих индивидуальных уроках я делаю упор на практическое прорешивание колоссального количества различных тематических задач. Вы не только поймете ключевой смысл формулы Хартли, но также решите порядка 10 задач, связанных с измерением количества информации.

Формула Хартли позволяет определить количество информации, которая содержится в информационном сообщении длины n.

Для дальнейшего исследования нам потребуется познакомиться с таким понятием как мощность алфавита.
Мощность алфавита – это количество символов/знаков, из которых состоит рассматриваемый алфавит.

Примеры, связанные с мощностью алфавита

Количество букв в русскоязычном алфавите равно 33, следовательно, мощность русского алфавита составляет 33.

Количество арабских цифр, используя которые мы получаем различные числа, равно 10: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9. Следовательно, мощность алфавита арабских цифр составляет 10.

Азбука Морзе оперирует закодированными информационными сообщениями, состоящими из точек и тире, следовательно, мощность азбуки Морзе составляет 2.

Аналитический (в виде формульной зависимости) вид формулы Хартли

N – возможное количество различных информационных сообщений, шт;
m – количество символов/знаков в рассматриваемом алфавите, шт;
n – количество букв/элементов в информационном сообщении, шт.

Рассмотрим задачи, решаемые с применением формулы Хартли

Условие задачи №1:
Световое табло состоит из светящихся элементов, каждый из которых может гореть одним из 4-х различных цветов. Сколько различных сигналов можно передать при помощи табло, состоящего из 4-х таких элементов, при условии, что все элементы должны гореть.

Решение:
В данном примере под алфавитом необходимо понимать совокупность различных цветов, которыми могут гореть элементы. В условии задачи было сказано, что допускается четыре различных цвета, следовательно, мощность алфавита различных цветов составляет 4, то есть m = 4.

Под информационным сообщением следует понимать набор светящихся элементов. В условии упражнения говорится о 4-х подобных элементах, следовательно, длина сообщения составляет 4, то есть n = 4.

И осталось лишь определить количество различных сигналов, используя формулу Хартли:

N = m n = 4 4 = (2 2 ) 4 = 2 8 = 128 [сигналов].

Ответ: 128

Условие задачи №2:
Некоторый алфавит содержит 3 различных символа. Сколько слов длиной в 5 символов можно получить из данного алфавита (символы в слове могут повторяться)?

Решение:
В данном примере конкретно не уточняется о каком типе алфавита идет речь. Можно сделать предположение, что это какой-то символьный/знаковый алфавит. В условии задачи было сказано, что рассматриваемый алфавит содержит ровно 3 различных символа, следовательно, мощность данного алфавита составляет 3, m = 3.

Под информационным сообщением следует понимать некое слово. В условии задачи говорится о словах длиной в 5 символов, следовательно, длина информационного сообщения составляет 5, то есть n = 5.

И осталось лишь определить количество различных слов, используя могущественную формулу Хартли:

N = m n = 3 5 = 243 [слова].

Ответ: 243

Остались вопросы

Если у вас остались какие-либо вопросы по теме «Формула Хартли», то лаконично формулируйте и высылайте их мне на электронный адрес или записывайтесь ко мне на эффективный частный урок по информатике.

Источник

Формула Хартли в информационных процессах

Содержание

Точность информации зависит от того, что другие последовательности символа, возможно, были выбраны»; мера этих других последовательностей обеспечивает признак количества переданной информации. Nyquist тогда предлагает, чтобы мы взяли «как наша практическая мера информации логарифм числа возможных последовательностей символа». Таким образом, если бы мы получили 4 различных символа, происходящие с равной частотой, то это представило бы 2 бита Хартли награжден премиями за отличия в области науки, этот ученый состоял в американской Ассоциации Продвижения Науки. Хартли принадлежат больше чем 70 патентов (изобретений). Ральф Хартли умер 1 мая 1970 в возрасте 81 года.

Описание

Допустим, нужно угадать одно число из набора чисел от единицы до ста.

По формуле Хартли можно вычислить, какое количество информации для этого требуется:

То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6.644 единиц информации.

Приведем другие примеры равновероятных сообщений:

Определим теперь, являются ли равновероятными сообщения ;первой выйдет из дверей здания женщина; и ;первым выйдет из дверей здания мужчина;.

Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский ученый Клод Шеннон предложил в 1948 году другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Дополнительная информация по теме

Краткое описание формулы Шеннона, как она устроена и на чем основывается ее результативность

Описание на примерах, что же на самом деле являются информационными процессами на сегодняшний день

Описание основных информационных процессов встречающихся в технике на сегодняшний день

Статья описывающая что такое информатика и какие информационные потоки и технологии подходят под это определение

Источник