Рабочие материалы по теме "Количество информации"

Количество информации

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность.

С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орёл» или «решка».

События равновероятны , если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются.

Возможные события

Произошедшее событие

Перед броском существует неопределённость нашего знания (возможны два события), а после броска наступает полная определённость.

Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно.

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ

При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события.

При бросании шестигранного игрального кубика существует

6 равновероятных событий.

ЕДИНИЦЫ ИЗМЕРЕНИЯ КОЛИЧЕСТВА ИНФОРМАЦИИ

Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации.

Возможные события

Произошедшее событие

Бит – минимальная единица измерения информации.

1 байт = 2 3 битов = 8 битов

1 Кбайт = 2 10 байт = 1024 байт

1 Мбайт = 2 10 Кбайт = 1024 Кбайт

1 Гбайт = 2 10 Мбайт = 1024 Мбайт

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Количество i информации, содержащееся в сообщении о том, что произошло одно из N равновероятностных событий, определяется из решения показательного уравнения

2 i = N

Если известно количество информации i , то количество возможных событий N легко определить.

Например, если i = 5, то N = 2 i = 32 .

Если известно количество возможных событий N , то для определения количества информации нужно решить показательное уравнение относительно i .

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок.

Решение:

Дано:

2 i = N

2 i = 128

2 7 = 128

i = 7 бит

N = 128

i - ?

Ответ: i = 7 бит

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ

Перевод единиц измерения количества информации

Задание 2.2. (стр. 110)

С помощью программы VersaVerter выполнить перевод единиц измерения количества информации .

а) 5 Кбайт = _ байт = _ бит;

б) _ Кбайт = _ байт = 12 288 бит;

в) _ Кбайт = _ байт = 2 13 бит;

г) _ Гбайт = 1536 Мбайт = _ Кбайт;

д) 512 Кбайт = 2_ байт = 2_ бит.

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ

Перевод единиц измерения количества информации

Задание 2.2. (стр. 110)

Самоконтроль

а) 5 Кбайт = 5 120 байт = 40 960 бит;

б) 1,5 Кбайт = 1 536 байт = 12 288 бит;

в) 1 Кбайт = 1024 байт = 2 13 бит;

г) 1,5 Гбайт = 1536 Мбайт = 1572864 Кбайт;

д) 512 Кбайт = 2 19 байт = 2 22 бит.

ФОРМУЛА ШЕННОНА

Количество информации для событий с различными вероятностями определяется по формуле:

I – количество информации,

N – количество возможных событий

p i – вероятности отдельных событий

Если события равновероятны ( p i =1/N ) :

ЗАДАНИЕ «БРОСАНИЕ ПЕРАМИДКИ»

Определить количество информации, которую мы получим в результате бросания несимметричной и симметричной пирамидок.

При бросании несимметричной четырехгранной пирамидки вероятности отдельных событий равны:

Количество информации рассчитываем по формуле:

p 1 =1/2; p 2 =1/4; p 3 =1/8; p 4 =1/8.

I =  (1/2·log 2 1/2 + 1/4·log 2 1/4 + 1/8·log 2 1/8 + 1/8·log 2 1/8) битов =

= (1/2·log 2 2 + 1/4·log 2 4 + 1/8·log 2 8 + 1/8·log 2 8) битов =

= (1/2 + 2/4+ 3/8+ 3/8) битов = 14/8 битов = 1,75 бита .

При бросании симметричной четырехгранной пирамидки вероятности отдельных событий равны между собой:

Количество информации рассчитываем по формуле:

p 1 = p 2 = p 3 = p 4 =1/4.

I =  log 2 4 = 2 бита .

Количество информации, которую мы получаем, достигает

максимального значения , если события равновероятны .

ВЫБОР ПРАВИЛЬНОЙ СТРАТЕГИИ

На получении максимального количества информации строится выбор правильной стратегии в игре «Угадай число» , в которой первый участник загадывает целое число (например, 3) из заданного интервала (например от 1 до 16), а второй должен «угадать» задуманное число.

Информационная модель игры «Угадай число»

Вопрос второго участника

Ответ первого участника

Число больше 8?

Неопределенность знания (количество возможных событий)

Число больше 4?

Полученное количество информации

Нет

16

Число больше 2?

8

Нет

1 бит

Да

Это число 3?

4

1 бит

2

Да

1 бит

1

1 бит

КОМПЬЮТЕРНЫЙ ПРАКТИКУМ

Определение количества информации

Задача. В непрозрачном мешочке хранятся 10 белых, 30 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?

Так как количество шариков различных цветов неодинаково, то вероятности зрительных сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству шариков данного цвета, деленному на общее количество шариков :

р б = 0.1; p к = 0,2; р с = 0,3; р з = 0,4.

События неравновероятны , поэтому воспользуемся формулой

I =  (0,1·log 2 0,1 + 0,2·log 2 0,2 + 0,3·log 2 0,3 + 0,4·log 2 0,4) битов.

Таким образом, I ≈ 1,85 бита .