Урок "Измерение информации"

Измерение информации

Как измерить информацию?

способы измерения могут быть разными

Содержательный подход к измерению информации

Для человека информация — это знания человека .

Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию .

Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.

Единица измерения информации была определена в науке, которая называется теорией информации. Эта единица носит название « бит ». Ее определение звучит так:

Сообщение, уменьшающее неопределенность знаний в два раза, несет 1 бит информации.

Неопределенность знаний о некотором событии — это количество возможных результатов события.

Формула вычисления количества информации

Если обозначить возможное количество событий, или, другими словами, неопределенность знаний N, а буквой I количество информации в сообщении о том, что произошло одно из N событий, то можно записать формулу:

2 I = N

Количество информации, содержащееся в сообщении о том, что произошло одно из N равновероятных событий, определяется из решения показательного уравнения: 2 I = N .

Решение:

В колоде 32 карты.

N = 32. I - ?

2 I = N

2 I = 32

2 5 = 32

I = 5 бит

АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ

АЛФАВИТ – это вся совокупность символов, используемых в некотором

языке для представления информации

МОЩНОСТЬ АЛФАВИТА ( N ) – это число символов в алфавите.

2 i = N

N

МОЩНОСТЬ АЛФАВИТА

число символов в алфавите (его размер)

ИНФОРМАЦИОННЫЙ ВЕС СИМВОЛА

количество информации в одном символе

i

i

K

I

N

I = K  i

K

ЧИСЛО СИМВОЛОВ В СООБЩЕНИИ

КОЛИЧЕСТВО ИНФОРМАЦИИ В СООБЩЕНИИ

I

, :, ;, #, &) i = 8 бит = 1 байт N = 2 i N = 256 = 2 8 информационный вес одного символа компьютерного алфавита = = = 2 10 байт 1024 байта 1 килобайт 1 Кб 1 Мб 2 10 Кб 1024 Кб 1 мегабайт = = = 2 10 Мб 1024 Мб 1 гигабайт 1 Гб = = = " width="640"

ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ

СИМВОЛЬНЫЙ АЛФАВИТ КОМПЬЮТЕРА

• русские (РУССКИЕ) буквы
• латинские ( LAT ) буквы
• цифры (1, 2, 3, 4, 5, 6, 7, 8, 9, 0)
• математические знаки (+, -, *, / , ^, =)
• прочие символы («», №, %, , , :, ;, #, &)

i = 8 бит = 1 байт

N = 2 i

N = 256 = 2 8

информационный вес одного символа компьютерного алфавита

=

=

=

2 10 байт

1024 байта

1 килобайт

1 Кб

1 Мб

2 10 Кб

1024 Кб

1 мегабайт

=

=

=

2 10 Мб

1024 Мб

1 гигабайт

1 Гб

=

=

=

ИНФОРМАЦИОННЫЙ ОБЪЕМ ТЕКСТА

ЗАДАЧА

Книга, подготовленная с помощью компьютера, содержит 150 страниц . На каждой странице – 40 строк , в каждой строке – 60 символов (включая пробелы между словами). Каков объем информации в книге?

РЕШЕНИЕ

Мощность компьютерного алфавита равна 256, поэтому один символ несет 1 байт информации. Значит, страница книги содержит 40  60 = 2400 байт информации.

[ кол-во символов в строке ]  [ кол-во строк ] = [ информационный объем страницы ]

Объем всей информации в книге (в разных единицах):

[ информационный объем страницы ]  [ кол-во страниц ] = [ информационный объем книги ]

2400  150 = 360 000 байт / 1024 = 351,5625 Кбайт / 1024 = 0,34332275 Мбайт

КОЛИЧЕСТВО ИНФОРМАЦИИ В СООБЩЕНИИ

ИЗМЕРЕНИЕ

Алфавитный подход

Содержательный подход

ИНФОРМАЦИЯ

N

N

Число символов в алфавите

(его размер) – МОЩНОСТЬ АЛФАВИТА

2 i = N

Число

равновероятных

в о з м о ж н ы х

с о б ы т и й

i

ИНФОРМАЦИОННЫЙ ВЕС СИМВОЛА

количество информации

в одном символе

Число символов

в символьном сообщении

K

К о л и ч е с т в о

i

и н ф о р м а ц и и

в сообщении о том,

что произошло одно из N

равновероятных событий

I = K  i

Количество информации

в символьном сообщении

I

i = 8 бит = 1 байт

N = 256

i = 1 бит

N = 2

1 Кб

1 Мб

1 Гб

1 байт

1024

1024

1024