Измерение информации

Измерение информации. Содержательный подход

Содержательный подход

В 40-х годах XX века Клодом Шенноном был предложен подход, согласно которому

Информация – это снятая неопределенность

Содержательный

(вероятностный) подход:

Количество информации как мера уменьшения неопределенности знаний.

Чем больше первоначальная неопределенность знаний, тем больше информации несет сообщение, снимающее неопределенность.

Рассмотрим пример

Возможные события

Произошедшее событие

Пусть у нас

имеется монета,

которую мы

бросаем на ровную

поверхность.

С равной вероятностью произойдет одно из

двух возможных событий – монета

окажется в одном из двух положений:

«орёл» или «решка».

Уменьшение неопределенности знания

Перед броском существует неопределённость нашего знания ( возможны два события ), а после броска наступает полная определённость .

Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно.

Уменьшение неопределенности знания

Сообщение, уменьшающее неопределённость знания в два раза,

несёт 1 бит информации.

Бит – минимальная единица измерения информации.

1 байт = 2 3 битов = 8 битов

1 Кбайт = 2 10 байт = 1024 байт

1 Мбайт = 2 10 Кбайт = 1024 Кбайт

1 Гбайт = 2 10 Мбайт = 1024 Мбайт

«Главная формула информатики»

Количество информации i , содержащееся в сообщении об одном из N равновероятных исходов некоторого события, определяется формулой

Количество возможных событий и количество информации

Задача: В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок.

Дано:

Решение:

2 i = N

2 i = 128

2 7 = 128

i = 7 бит

N = 128

i - ?

Ответ: i = 7 бит

Закон аддитивности количества информации

Задача: В кинозале 16 рядов, в каждом из которых 32 места. Какое количество информации несет сообщение о том, что вы купили билет на 7-й ряд, 15-е место?

Способ 2

Способ 1

Решение:

Дано:

Дано:

Решение:

2 i = N

2 i = 16; 2 4 = 16

i ₁ = 4 бит

N ₁ = 16

N ₂ = 32

2 i = N

2 i = 16*32=512

2 9 = 512

i = 9 бит

N = 16*32

2 i = 32; 2 5 = 32

i ₂ = 5 бит

i₁+i₂ = 4+5= 9 бит

i - ?

i - ?

Ответ: i = 9 бит

Ответ: i = 9 бит

Закон аддитивности количества информации (правило сложения)

Количество информации в сообщении одновременно о нескольких результатах независимых друг от друга событий равно сумме количеств информации о каждом событии отдельно

Алфавитный и содержательный подход

Алфавитный подход

Содержательный подход

N – неопределенность знания о том, какой именно символ алфавита должен стоять в данной позиции

i – количество информации в сообщении о появлении любого символа в тексте

N – мощность алфавита

i – информационный вес одного символа

Допустим, что появление каждого символа равновероятно

Количество возможных событий и количество информации

«Реал Мадрид» играет с «Барселоной». Из новостей вы узнали, что победила «Барселона». Какое количество информации получено?

Возможных исходов события три:

1. Победит «Реал Мадрид»

2. Победит «Барселона»

3. Будет ничья

N = 3

Чему равно количество информации в этом примере?

Формула Хартли

Если количество возможных исходов события не равно целой степени двойки (как в предыдущем примере), то количество информации измеряется при помощи логарифма

Где i – количество информации, содержащееся в сообщении об одном из N равновероятных исходов события.

Заметим, что количество информации, определяемое таким способом, может быть дробным, при алфавитном подходе это только целочисленное значение.

!

Задача:

В коробке 32 карандаша, все карандаши разного цвета. Наугад вытащили красный. Какое количество информации при этом было получено?

Решение.

Так как вытаскивание карандаша любого цвета из имеющихся в коробке 32 карандашей является равновероятным, то число возможных событий равно 32.

N = 32, i = ?

N = 2 i , 32 = 2 5 , i = 5 бит.

Ответ: 5 бит.

Решите устно

1. Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый. Какое количество информации Вы при этом получили?

Решите устно

2. Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации Вы при этом получили?

Решите устно

3. "Вы выходите на следующей остановке?" - спросили человека в автобусе. "Нет", - ответил он. Сколько информации содержит ответ?

Решите устно

4. Придумайте несколько ситуаций, при которых сообщение несет один бит информации.