Лекция Алфавитный подход к измерению информации"

Лекция №4

Алфавитный подход к определению количества информации

При определении количества информации на основе уменьшения неопределенности наших знаний мы рассмат­риваем информацию с точки зрения содержания, ее понят­ности и новизны для человека. С этой точки зрения в опы­те по бросанию монеты одинаковое количество информации содержится и в зрительном образе упавшей монеты, и в коротком сообщении «Орел», и в длинной фразе «Монета упала на поверхность земли той стороной вверх, на которой изображен орел».

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цветов точек изображения и так далее).

Набор символов знаковой системы (алфавит) можно рас­сматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле N=2ⁱ можно рассчитать, какое количество информации несет каждый символ.

Так, в русском алфавите, если не использовать букву Ё, количество событий (букв) будет равно 32. Тогда:

32 = 2ⁱ, откуда I= 5 битов.

Каждый символ несет 5 битов информации (его инфор­мационная емкость равна 5 битов). Количество информа­ции в сообщении можно подсчитать, умножив количество информации, которое несет один символ, на количество символов.

Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество зна­ков.

Пример 1. Найти объем информации, содержащейся в тексте из 3000 символов, написанном русскими буквами.

Решение.

1). Найдем мощность алфавита:

N=N=33 русских прописных буквы+33 русских строчных букв + 21 специальный знак = 87 символов.

Подставим в формулу и рассчитаем количество информации:

2). I=log₂87 = 6,4 бита.

Такое количество информации – информационный объем – несетодин символ в русском тексте. Теперь, чтобы найти количество информации во всем тексте, нужно найти общее количество символов в нем и умножить на информационный объем одного символа. Пусть в тексте 3000 символов. Значит,

3). 6,4 *3000=19140 бит

Домашнее задание.

1. Выучить конспект

2. Учебник Угринович стр 78-82

3. Решить задачу: Найти количество информации, содержащейся в немецком тексте с таким же количеством символов.