Количество информации

Количество информации как мера уменьшения неопределенности знания

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ

События равновероятны , если при возрастающем числе опытов количества выпадений «орла» и «решки» постепенно сближаются.

Возможные события

Произошедшее событие

УМЕНЬШЕНИЕ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ

При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события.

При бросании шестигранного игрального кубика существует

6 равновероятных событий.

ЕДИНИЦЫ ИЗМЕРЕНИЯ КОЛИЧЕСТВА ИНФОРМАЦИИ

Сообщение, уменьшающее неопределённость знания в два раза, несёт 1 бит информации.

Возможные события

Произошедшее событие

Бит – минимальная единица измерения информации.

1 байт = 2 3 битов = 8 битов

Байт - единица измерения информации в системе Си.

1 Кбайт = 2 10 байт = 1024 байт

1 Мбайт = 2 10 Кбайт = 1024 Кбайт

1 Гбайт = 2 10 Мбайт = 1024 Мбайт

Содержательный подход

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Количество i информации, содержащееся в сообщении о том, что произошло одно из N равновероятностных событий, определяется из решения показательного уравнения

2 i = N

Если известно количество информации i , то количество возможных событий N легко определить.

Например, если i = 5, то N = 2 i = 32 .

Если известно количество возможных событий N , то для определения количества информации нужно решить показательное уравнение относительно i .

Таблица

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Задача1. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок.

Решение:

Дано:

2 i = N

2 i = 128

2 7 = 128

i = 7 бит

N = 128

i - ?

Ответ: i = 7 бит

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Задача 2. При приеме некоторого сообщения получили 5 бит информации. Сколько вариантов исхода было до получения сообщения?

Решение

i = 5 бит I 5

N = ? N=2, N =2, N =32

Ответ: 5 вариантов

исхода.

Ответ: 32

КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ И КОЛИЧЕСТВО ИНФОРМАЦИИ

Задача 3. До получения сообщения было 8 вариантов исхода. Сколько информации будет получено в сообщении о том, что произошел один из возможных вариантов события?

Решение

N = 8 i i

I = ? N=2, 8=2, i =3 бита

Ответ: 3 бита

Домашнее задание

Задача 4. С колько страниц текста уместится на дискету и компакт-диск.

1. Прочитать § Количество информации.

2. Выполнить задания для самостоятельной работы в конце §