Презентация к уроку по теме "Измерение информации. Содержательный подход."

Измерение информации. Содержательный подход.

С позиции содержательного подхода к измерению информации решается вопрос о количестве информации в сообщении, получаемом человеком. Рассматривается следующая ситуация:

1) человек получает сообщение о некотором событии; при этом заранее известна неопределенность знания человека об ожидаемом событии. Неопределенность знания может быть выражена либо числом возможных вариантов события, либо вероятностью ожидаемых вариантов события; 2) в результате получения сообщения неопределенность знания снимается: из некоторого возможного количества вариантов оказался выбранным один; 3) по формуле вычисляется количество информации в полученном сообщении, выраженное в битах.

Формула, используемая для вычисления количества информации, зависит от ситуаций, которых может быть две:

• 2. Вероятности ( p ) возможных вариантов события разные и они заранее известны:

{p i }, i = 1.. N . Здесь по-прежнему N — число возможных вариантов события.

• 1. Все возможные варианты события равновероятны. Их число конечно и равно N .

Равновероятные события. Если обозначить буквой i количество информации в сообщении о том, что произошло одно из N равновероятных событий, то величины i и N связаны между собой формулой Хартли:

2 i = N

1 бит — это количество информации в сообщении об одном из двух равновероятных событий .

Формула Хартли — это показательное уравнение. Если i — неизвестная величина, то решением данного уравнения будет:

i = log 2 N

Данные формулы тождественны друг другу.

Рассмотрим несколько примеров:

• Пример 1. Сколько информации содержит сообщение о том, что из колоды карт достали даму пик?

Решение: В колоде 32 карты. В перемешанной колоде выпадение любой карты — равновероятные события. Если i — количество информации в сообщении о том, что выпала конкретная карта (например, дама пик), то из уравнения Хартли:

2 i = 32 = 2 5

Отсюда: i = 5 бит.

• Пример 2. Сколько информации содержит сообщение о выпадении грани с числом 3 на шестигранном игральном кубике?

Решение: Считая выпадение любой грани событием равновероятным, запишем формулу Хартли:

2 i = 6.

Отсюда: i = log 2 6 = 2,58496 бит.

Неравновероятные события (вероятностный подход). Если вероятность некоторого события равна p , а i (бит) — это количество информации в сообщении о том, что произошло это событие, то данные величины связаны между собой формулой:

2 i = 1/ p  

Решая данное показательное уравнение относительно i , получаем:

i = log 2 (1/ p ) формула Шеннона

Качественный подход

• Информация — это знания людей, получаемые ими из различных сообщений.
• Сообщение — это информационный поток (поток данных), который в процессе передачи информации поступает к принимающему его субъекту.

Сообщение

Информативные сообщение , которое пополняет знания человека, т.е. несет для него информацию.

Неинформативные сведения “старые”, т.е. человек это уже знает, или содержание сообщения непонятно человеку

Количественный подход в приближении равновероятности

События равновероятны , если ни одно из них не имеет преимущества перед другими.

Рассмотрим на примере. «Сколько информации несет сообщение о результате бросания шестигранного кубика?» Из уравнения Хартли: 2 i = 6.

Поскольку 2 2 i

Затем определяем более точное значение (с точностью до пяти знаков после запятой), что i = 2,58496 бит. Отметить, что при данном подходе количество информации может быть выражено дробной величиной.

Вероятностный подход к измерению информации

Вероятность некоторого события — это величина, которая может принимать значения от нуля до единицы.

Вероятность невозможного события равна нулю

(например: «завтра Солнце не взойдет над горизонтом»)

Вероятность достоверн ого события равна единице

(например: «Завтра солнце взойдет над горизонтом»).

Вероятность некоторого события определяется путем многократных наблюдений (измерений, испытаний). Такие измерения называют статистическими. И чем большее количество измерений выполнено, тем точнее определяется вероятность события.

Рассмотрим несколько примеров:

Пример 3. На автобусной остановке останавливаются два маршрута автобусов: № 5 и № 7. Ученику дано задание: определить, сколько информации содержит сообщение о том, что к остановке подошел автобус № 5, и сколько информации в сообщении о том, что подошел автобус № 7.

Решение: Ученик провел исследование. В течение всего рабочего дня он подсчитал, что к остановке автобусы подходили 100 раз. Из них — 25 раз подходил автобус № 5 и 75 раз подходил автобус № 7. Сделав предположение, что с такой же частотой автобусы ходят и в другие дни, ученик вычислил вероятность появления на остановке автобуса № 5: p 5 = 25/100 = 1/4, и вероятность появления автобуса № 7: p 7 = 75/100 = 3/4.

Отсюда, количество информации в сообщении об автобусе № 5 равно: i 5 = log 2 4 = 2 бита. Количество информации в сообщении об автобусе № 7 равно:

i 7 = log 2 (4/3) = log 2 4 – log 2 3 =  2 – 1,58496 = 0,41504 бита.

Пример 4 . Рассмотрим другой вариант задачи об автобусах. На остановке останавливаются автобусы № 5 и № 7. Сообщение о том, что к остановке подошел автобус № 5, несет 4 бита информации. Вероятность появления на остановке автобуса с № 7 в два раза меньше, чем вероятность появления автобуса № 5. Сколько бит информации несет сообщение о появлении на остановке автобуса № 7?

Решение: Запишем условие задачи в следующем виде:

i 5 = 4 бита, p 5 = 2 · p 7

Вспомним связь между вероятностью и количеством информации: 2 i = 1/ p

Отсюда: p = 2 – i

Подставляя в равенство из условия задачи, получим:

Отсюда:

Из полученного результата следует вывод: уменьшение вероятности события в 2 раза увеличивает информативность сообщения о нем на 1 бит. Очевидно и обратное правило: увеличение вероятности события в 2 раза уменьшает информативность сообщения о нем на 1 бит. Зная эти правила, предыдущую задачу можно было решить «в уме».