Измерение количества информации (презентация к уроку)

Измерение информации

Подходы к измерению информации

Информация

Техническое устройство

Человек

Содержательный (вероятностный)

Алфавитный

Через неопределенность знаний с учетом вероятности событий

Последовательность символов , сигналов

Знания

Через количество символов с учетом информационного веса символов

Содержательный подход

Информативность сообщений

Сообщение несёт информацию для человека, если содержащиеся в нём сведения являются для него новыми и понятными

Сообщение, уменьшающее неопределённость знаний в 2 раза несёт 1 бит информации.

bit = b i nary dig it , двоичная цифра

можно / нельзя

истина / ложь

да / нет

1 / 0

есть / нет

за / против

горит / не горит

Метод двоичного поиска

Игра, использующая метод двоичного поиска

Игра: Требуется угадать задуманное число из данного диапазона целых чисел. Игрок, отгадывающий число, задает вопросы, на которые можно ответить только « да » или « нет ». Если каждый ответ отсекает половину вариантов ( уменьшает выбор в 2 раза ), то он несет 1 бит информации. Тогда общее количество информации (в битах), полученной при угадывании числа, равно количеству заданных вопросов .

Пример: требуется угадать задуманное число из диапазона от 1 до 8

• Число меньше 5 ?

1 бит

нет

1

2

3

4

5

6

7

8

2. Число меньше 7 ?

1 бит

да

5

6

7

8

3. Это число – 5 ?

5

6

1 бит

нет

Вычисление количества информации

Где N – количество равновероятных событий

i – количество информации в сообщении о том, что произошло одно из N равновероятных событий

Задача 1. При угадывании целого числа в диапазоне от 1 до N было получено 6 бит информации. Чему равно N ?

Решение: значение N определяется из формулы

Т.к. i=6 , то

Задача 2. В корзине лежат 16 шаров разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар ?

Решение: вытаскивание любого из 16 шаров – события равновероятные.

Используем формулу , где N = 16.

Решая уравнение получим i=4 ( бита).

Задача 3.

6

Таблица решений уравнения

7

Количество бит информации , i

Количество различных вариантов , N

1

2

2

4

3

8

4

16

5

32

6

64

7

128

8

256

9

512

10

1024

N=2 i

Вероятность и информация

Задача 4 . Подсчет информации в сообщениях о неравновероятных событиях За прошедший год ученик получил 100 оценок :

• 60 пятерок 25 четверок 10 троек 5 двоек
• 60 пятерок
• 25 четверок
• 10 троек
• 5 двоек

Определить количество информации в сообщениях о получении каждой из оценок

Расчет вероятности оценок

если вероятность уменьшается, количество информации увеличивается

Алфавитный подход к измерению информации

Количество символов в алфавите называется мощностью алфавита( N )

I=K*i

Количество информации в символьном сообщении

( K – число символов)

Если считать, что все символы в тексте появляются с одинаковой частотой

i

Количество информации в одном символе

В компьютерном алфавите N =256 , тогда в одном символе содержится 8 бит т.е. 1 байт т.к. 2 8 = 256

10

Единицы измерения информации

0

1 бит

1 байт = 8 бит

1 Кило байт ( К б ) = 1024 байт = 2 10 байт

1 Мега байт ( М б ) = 1024 К байт = 2 20 байт

1 Гига байт ( Г б ) = 1024 М байт = 2 30 байт

1 Тера байт ( Т б ) = 1024 Г байт = 2 40 байт

1 Пета байт ( П б ) = 1024 Т байт = 2 50 байт

1

10

Задание 1. Какое количество информации в сообщении из 10 символов, записанном буквами из 32 -символьного алфавита?

Решение

Дано:

N=32 K=10

Найти:

I=?

1 . Определим информационную емкость 1 символа.

2 i =N; 2 i = 32; 2 i =2 5 ; i=5( бит)

• 2 i =N; 2 i = 32; 2 i =2 5 ; i=5( бит)
• 2 i =N; 2 i = 32; 2 i =2 5 ; i=5( бит)

2. Определим количество информации в сообщении .

I= K*i ; I = 10 * 5 =50 ( бит )

Ответ. В сообщении содержится 50 бит информации

12

2. Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке №3. Сколько информации получили школьники из этого сообщения?

3 . Какое количество информации получит второй игрок при игре в крестики-нолики на поле 8х8 после первого хода первого игрока, играющего крестиками?

4 . В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

5 . Сообщение о том, что Петя живет во втором подъезде, несет 3 бита информации. Сколько подъездов в доме?

6 . При угадывании целого числа в диапазоне от 1 до N было получено 7 бит информации. Чему равно N ?

7 . В рулетке общее количество лунок равно 128. Какое количество информации мы получим при остановке шарика в одной из лунок?

8 . Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

9 . Сколько символов составляет сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?

10 . Сколько килобайтов составляет сообщение, содержащее 12288 битов?

11 . Сколько байтов составит сообщение из 384 символов 16-ти символьного алфавита?

12 . Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

13 . Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байт информации и занимает 6 страниц. Сколько символов в строке?

Дома:

Задачи

12

№ 4

Решение

Дано:

N=64 K=100

Найти:

I = ?

1 . Определим информационную емкость 1 символа.

2 i =2 6 ; i=6( бит)

• 2 i =2 6 ; i=6( бит)
• 2 i =2 6 ; i=6( бит)

2 i =N; 2 i = 64;

• 2 i =N; 2 i = 64;
• 2 i =N; 2 i = 64;

2. Определим количество информации в сообщении .

I = K*i ; I = 100 * 6 бит =600 бит =75 байтов

Ответ :

В сообщении содержится 75 байтов информации

№ 6

Решение

Дано:

N = 256 I = 3,5 Кб

Найти:

K = ?

1 . Определим информационную емкость 1 символа.

2 i =2 8 ; i= 8 ( бит)

• 2 i =2 8 ; i= 8 ( бит)
• 2 i =2 8 ; i= 8 ( бит)

2 i =N; 2 i = 256 ;

• 2 i =N; 2 i = 256 ;
• 2 i =N; 2 i = 256 ;

2. Определим количество символов в сообщении .

I = K *i ; K = I / i; K= 3,5 *1024*8 / 8= 3584

Ответ : В тексте содержится 3584 символов

№ 7

i2/i1