Лекция 7. Вычисление количества информации по формулам Хартли и Шеннона. Решение задач

При определении количества информации на основе уменьшения неопределенности наших знаний мы рассматриваем информацию с точки зрения содержания, ее понятности и новизны для человека. С этой точки зрения в опыте по бросанию монеты одинаковое количество информации содержится и в зрительном образе упавшей монеты, и в коротком сообщении "Орел", и в длинной фразе "Монета упала на поверхность земли той стороной вверх, на которой изображен орел".

Однако при хранении и передаче информации с помощью технических устройств целесообразно отвлечься от содержания информации и рассматривать ее как последовательность знаков (букв, цифр, кодов цветов точек изображения и так далее).

Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события). Тогда, если считать, что появление символов в сообщении равновероятно, по формуле (2.1) можно рассчитать, какое количество информации несет каждый символ.

Так, в русском алфавите, если не использовать букву ё, количество событий (букв) будет равно 32. Тогда:

32 = 2^I, откуда I = 5 битов.

Каждый символ несет 5 битов информации (его информационная емкость равна 5 битов). Количество информации в сообщении можно подсчитать, умножив количество информации, которое несет один символ, на количество символов.

Количество информации, которое содержит сообщение, закодированное с помощью знаковой системы, равно количеству информации, которое несет один знак, умноженному на количество знаков.

Вопросы для размышления

1. Пусть две книги на русском и китайском языках содержат одинаковое количество знаков. В какой книге содержится большее количество информации с точки зрения алфавитного подхода?

Содержательный подход к измерению информации рассматривает информацию с точки зрения человека, как уменьшение неопределенности наших знаний.

Однако любое техническое устройство не воспринимает содержание информации.Поэтому в вычислительной технике используется другой подход к определению количества информации. Он называется алфавитным подходом.

При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы. 
Проще всего разобраться в этом на примере текста, написанного на каком-нибудь языке. Для нас удобнее, чтобы это был русский язык. 
Все множество используемых в языке символов будем традиционно называть алфавитом. Обычно под алфавитом понимают только буквы, но поскольку в тексте могут встречаться знаки препинания, цифры, скобки, то мы их тоже включим в алфавит. В алфавит также следует включить и пробел, т.е. пропуск между словами.

Алфавит - множество символов, используемых при записи текста.

Мощность (размер) алфавита - полное количество символов в алфавите.

Будем обозначать эту величину буквой N. Например, мощность алфавита из русских букв и отмеченных дополнительных символов равна 54. 
Представьте себе, что текст к вам поступает последовательно, по одному знаку, словно бумажная ленточка, выползающая из телеграфного аппарата. Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита. В действительности это не совсем так, но для упрощения примем такое предположение. В каждой очередной позиции текста может появиться любой из N символов. Тогда, согласно известной нам формуле N = 2^I (см. содержательный подход) каждый такой символ несет I бит информации, которое можно определить из решения уравнения: 2^I = 54. Получаем: I = 5.755 бит - такое количество информации несет один символ в русском тексте.

Чтобы найти количество информации во всем тексте, нужно посчитать число символов в нем и умножить на I.
Посчитаем количество информации на одной странице книги. Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50x60=3000 знаков. Тогда объем информации будет равен: 5,755 х 3000 = 17265 бит.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Таким образом, алфавитный подход к измерению информации можно изобразить в виде таблицы:

При использовании двоичной системы (алфавит состоит из двух знаков: 0 и 1) каждый двоичный знак несет 1 бит информации.

Применение алфавитного подхода удобно, прежде всего, при использовании технических средств работы с информацией. В этом случае теряют смысл понятия «новые - старые», «понятные - непонятные» сведения.

Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода.

Удобнее всего измерять информацию, когда размер алфавита N равен целой степени двойки. Например, если N=16, то каждый символ несет 4 бита информации потому, что 2⁴= 16. А если N =32, то один символ «весит» 5 бит.

Ограничения на максимальный размер алфавита теоретически не существует. Однако есть алфавит, который можно назвать достаточным. С ним мы встречались при рассмотрении темы "Кодирование текствовой информации". Это алфавит мощностью 256 символов. В алфавит такого размера можно поместить все практически необходимые символы: латинские и русские буквы, цифры, знаки арифметических операций, всевозможные скобки, знаки препинания.... 
Поскольку 256 = 2⁸, то один символ этого алфавита «весит» 8 бит. Причем 8 бит информации — это настолько характерная величина, что ей даже присвоили свое название - байт. 
1 байт = 8 бит.

Для измерения больших объемов информации используются следующие единицы: 

1 Кб (один килобайт)= 1024 байт=2¹⁰байт
1 Мб (один мегабайт)= 1024 Кб=2¹⁰Кбайт=2²⁰байт
1 Гб (один гигабайт)= 1024 Мб=2¹⁰Mбайт=2³⁰байт
1Тбайт (один терабайт)=2¹⁰Гбайт=1024Гбайт=2⁴⁰байт
1Пбайт(один петабайт)=2¹⁰Тбайт=1024Тбайт=2⁵⁰байт
1Эбайт(один экзабайт)=2¹⁰Пбайт=1024Пбайт=2⁶⁰байт
1Збайт(один зетабайт)=2¹⁰Эбайт=1024Эбайт=2⁷⁰байт
1Йбайт(один йотабайт)=2¹⁰Збайт=1024Збайт=2⁸⁰байт. 

При хранении и передаче информации с помощью технических устройств информацию следует рассматривать как последовательность символов - знаков (букв, цифр, кодов цветов точек изображения и т.д.).

Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события). 
Тогда, если считать, что появление символов в сообщении равновероятно, количество возможных событийN можно вычислить как N=2ⁱ 
Количество информации в сообщении I можно подсчитать умножив количество символов K на информационный вес одного символа i 
Итак, мы имеем формулы, необходимые для определения количества информации в алфавитном подходе:

Возможны следующие сочетания известных (Дано) и искомых (Найти) величин:

Если к этим задачам добавить задачи на соотношение величин, записанных в разных единицах измерения, с использованием представления величин в виде степеней двойки мы получим 9 типов задач. 
Рассмотрим задачи на все типы. Договоримся, что при переходе от одних единиц измерения информации к другим будем строить цепочку значений. Тогда уменьшается вероятность вычислительной ошибки.

Задача 1. Получено сообщение, информационный объем которого равен 32 битам. чему равен этот объем в байтах? 

Решение: В одном байте 8 бит. 32:8=4 
Ответ: 4 байта.

Задача 2. Объем информацинного сообщения 12582912 битов выразить в килобайтах и мегабайтах. 

Решение: Поскольку 1Кбайт=1024 байт=1024*8 бит, то 12582912:(1024*8)=1536 Кбайт и 
поскольку 1Мбайт=1024 Кбайт, то 1536:1024=1,5 Мбайт 
Ответ:1536Кбайт и 1,5Мбайт.

Задача 3. Компьютер имеет оперативную память 512 Мб. Количество соответствующих этой величине бит больше:

1) 10 000 000 000бит 2) 8 000 000 000бит 3) 6 000 000 000бит 4) 4 000 000 000бит Решение: 512*1024*1024*8 бит=4294967296 бит. 
Ответ: 4.

Задача 4. Определить количество битов в двух мегабайтах, используя для чисел только степени 2. 
Решение: Поскольку 1байт=8битам=2³битам, а 1Мбайт=2¹⁰Кбайт=2²⁰байт=2²³бит. Отсюда, 2Мбайт=2²⁴бит. 
Ответ: 2²⁴бит.

Задача 5. Сколько мегабайт информации содержит сообщение объемом 2²³бит? 
Решение: Поскольку 1байт=8битам=2³битам, то 
2²³бит=2²³*2²³*2³бит=2¹⁰2¹⁰байт=2¹⁰Кбайт=1Мбайт. 
Ответ: 1Мбайт

Задача 6. Один символ алфавита "весит" 4 бита. Сколько символов в этом алфавите? 
Решение: 
Дано:

Ответ: 16

Задача 7. Каждый символ алфавита записан с помощью 8 цифр двоичного кода. Сколько символов в этом алфавите? 
Решение: 
Дано:

Ответ: 256

Задача 8. Алфавит русского языка иногда оценивают в 32 буквы. Каков информационный вес одной буквы такого сокращенного русского алфавита? 
Решение: 
Дано:

Ответ: 5

Задача 9. Алфавит состоит из 100 символов. Какое количество информации несет один символ этого алфавита? 
Решение: 
Дано:

Ответ: 5

Задача 10. У племени "чичевоков" в алфавите 24 буквы и 8 цифр. Знаков препинания и арифметических знаков нет. Какое минимальное количество двоичных разрядов им необходимо для кодирования всех символов? Учтите, что слова надо отделять друг от друга! 
Решение: 
Дано:

Ответ: 5

Задача 11. Книга, набранная с помощью компьютера, содержит 150 страниц. На каждой странице — 40 строк, в каждой строке — 60 символов. Каков объем информации в книге? Ответ дайте в килобайтах и мегабайтах 
Решение: 
Дано:

Ответ: 351Кбайт или 0,4Мбайт

Задача 12. Информационный объем текста книги, набранной на компьютере с использованием кодировки Unicode, — 128 килобайт. Определить количество символов в тексте книги. 
Решение: 
Дано:

Ответ: 65536

Задача 13.Информационное сообщение объемом 1,5 Кб содержит 3072 символа. Определить информационный вес одного символа использованного алфавита 
Решение: 
Дано:

Ответ: 4

Задача 14.Сообщение, записанное буквами из 64-символьного алфавита, содержит 20 символов. Какой объем информации оно несет? 
Решение: 
Дано:

Ответ: 120бит

Задача 15. Сколько символов содержит сообщение, записанное с помощью 16-символьного алфавита, если его объем составил 1/16 часть мегабайта? 
Решение: 
Дано:

Ответ: 131072

Задача 16. Объем сообщения, содержащего 2048 символов,составил 1/512 часть мегабайта. Каков размер алфавита, с помощью которого записано сообщение? 
Решение: 
Дано:

Ответ: 256

Задачи для самостоятельного решения:

1. Каждый символ алфавита записывается с помощью 4 цифр двоичного кода. Сколько символов в этом алфавите?

2. Алфавит для записи сообщений состоит из 32 символов, каков информационный вес одного символа? Не забудьте указать единицу измерения.

3. Информационный объем текста, набранного на компьюте¬ре с использованием кодировки Unicode (каждый символ кодируется 16 битами), — 4 Кб. Определить количество символов в тексте.

4. Объем информационного сообщения составляет 8192 бита. Выразить его в килобайтах.

5. Сколько бит информации содержит сообщение объемом 4 Мб? Ответ дать в степенях 2.

6. Сообщение, записанное буквами из 256-символьного ал¬фавита, содержит 256 символов. Какой объем информации оно несет в килобайтах?

7. Сколько существует различных звуковых сигналов, состоящих из последовательностей коротких и длинных звонков. Длина каждого сигнала — 6 звонков.

8. Метеорологическая станция ведет наблюдение за влажностью воздуха. Результатом одного измерения является целое число от 20 до 100%, которое записывается при помощи минимально возможного количества бит. Станция сделала 80 измерений. Определите информационный объем результатом наблюдений.

9. Скорость передачи данных через ADSL-соединение равна 512000 бит/с. Через данное соединение передают файл размером 1500 Кб. Определите время передачи файла в секундах.

10. Определите скорость работы модема, если за 256 с он может передать растровое изображение размером 640х480 пикселей. На каждый пиксель приходится 3 байта. А если в палитре 16 миллионов цветов?

Тема определения количества информации на основе алфавитного подхода используется в заданиях А1, А2, А3, А13, В5 контрольно-измерительных материалов ЕГЭ.

ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ИНФОРМАЦИИ

представленной с помощью знаковых систем

Вариант 1

01 Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна буква этого алфавита?

02 Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов. Какой объем информации оно несет?

03 Племя Мульти имеет 32-х символьный алфавит. Племя Пульти использует 64-х символьный алфавит. Вожди племен обменялись письмами. Письмо племени Мульти содержало 80 символов, а письмо племени Пульти - 70 символов. Сравните объемы информации, содержащейся в письмах.

04 Информационное сообщение объемом 1,5 Кбайта содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

05 Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков размер алфавита, с помощью которого записано сообщение?

Вариант 2

01 Сколько символов содержит сообщение, записанное с помощью 16-ти символьного алфавита, если объем его составил 1/16 часть Мбайта?

02 Сколько килобайтов составляет сообщение, содержащее 12288 битов?

03 Сколько килобайтов составит сообщение из 384 символов 16-ти символьного алфавита?

04 Для записи текста использовался 256-символьный алфавит. Каждая страница содержит 30 строк по 70 символов в строке. Какой объем информации содержат 5 страниц текста?

05 Сообщение занимает 3 страницы по 25 строк. В каждой строке записано по 60 символов. Сколько символов в использованном алфавите, если все сообщение содержит 1125 байтов?

Вариант 3

01 Для записи сообщения использовался 64-х символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байтов информации и занимает 6 страниц. Сколько символов в строке?

02 Сообщение занимает 2 страницы и содержит 1/16 Кбайта информации. На каждой станице записано 256 символов. Какова мощность использованного алфавита?

03 Для записи текста использовался код Unicode. Каждая страница содержит 30 строк по 50 символов в строке. Какое количество информации содержат 6 страниц текста? Выразить в Кбайтах

 04 Сравните (поставьте знак отношения)

1) 3 байта _____24 бита.

2) 1536 бит_____ 1,5 Кбайта..

05 Скорость передачи данных через ADSL-соединение равна 256 000 бит/с. Передача файла через данное соединение заняла 3 мин. Определите размер файла в килобайтах.

Вариант 4

01 Алфавит русского языка иногда оценивают в 32 буквы. Каков информационный вес одной буквы такого сокращенного русского алфавита?

02 Какова мощность алфавита, с помощью которого записано сообщение, содержащее 2048 символов, если его объем составляет 1/512 часть одного мегабайта?

03 Пользователь компьютера, хорошо владеющий навыками ввода информации с клавиатуры, может вводить в минуту 100 знаков. Мощность алфавита, используемого в компьютере, равна 256. Какое количество информации в байтах может ввести пользователь в компьютер за 1 минуту?

04 Система оптического распознавания символов позволяет преобразовывать отсканированные изображения страниц документа в текстовый формат со скоростью 4 страницы в минуту и использует алфавит мощностью 65536 символов. Какое количество информации будет нести текстовый документ после 5 минут работы приложения, страницы которого содержат 40 строк по 50 символов?

05 На странице 32 строки, в каждой строке 64 символа. Определите информационный объём рассказа, если каждый символ кодируется 16 битами.

Вариант 5

01 Сколько килобайт занимает текстовая информация, записанная на 10 страницах. На каждой странице 256 символов, один символ занимает 8 бит.

02 Переведите единицы количества информации

a) 87 байт в биты

b) 122880 бит в кбайты

c) 18432 кбайт в Мбайты

03 Какое количество информации несет двоичный код 101111011?

04 Студенты сдают экзамен по информатике по билетам. Преподаватель сообщил им, что информационное сообщение о номере билета содержит 7 битов информации. Сколько экзаменационных билетов?

05 Переведите:

a) 94 байта в биты

b) 25 кбайт в биты

Вариант 6

01 Из непрозрачного мешочка вынимают шарики с номерами, известно, что информационное сообщение о номере шарика несет 7 бит информации. Определить количество шариков в мешочке

02 Считая, что каждый символ кодируется 16-ю битами, оцените информационный объем следующей пушкинской фразы:

Привычка свыше нам дана: Замена счастию она.

Выразить в байтах.

03 Считая, что каждый символ кодируется одним байтом. Каждая страница содержит 30 строк по 70 символов в строке. Какое количество информации содержат 3 страницы текста? Выразить в килобайтах

04 Информационный объем текста книги, набранной на компьютере с использованием кодировки Unicode, — 128 килобайт. Определить количество символов в тексте книги.

05 Файл объемом 5120 Кбайт передается по локальной сети. Скорость передачи данных равна 256 000 бит/с. Сколько времени в минутах займет передача данных?

Вариант 7

01 На странице 48 строк, в каждой строке 64 символа. Определите информационный объём рассказа, если каждый символ кодируется 8 битами. Выразить в килобайтах.

02 Сколько килобайт занимает текстовая информация, записанная на 20 страницах. На каждой странице 128 символов, один символ занимает 8 бит.

03 Переведите единицы количества информации 
а) 712 бит в байты

б) 16 кбайт в биты

в) 32 Гбайта в Мбайты

04 Какое количество информации несет двоичный код 101101011?.

05 Из непрозрачного мешочка вынимают шарики с номерами и известно, что информационное сообщение о номере шарика несет 6 битов информации. Определите количество шариков в мешочке. (Подробное решение)

Вариант 8

01 Информационное сообщение объемом 1,5 Кб содержит 3072 символа. Определить информационный вес одного символа использованного алфавита 

02 Переведите: а) 448 бит в байты б) 147456 бит в кбайты

03 В корзине лежат шары. Все разного цвета. Сообщение о том, что достали синий шар, несет 5 бит информации. Сколько всего шаров было в корзине?

04 Книга, набранная с помощью компьютера, содержит 150 страниц. На каждой странице — 40 строк, в каждой строке — 60 символов. Каков объем информации в книге? Ответ дайте в мегабайтах 

05 Считая, что каждый символ кодируется двумя байтами, оцените информационный объем следующего предложения:

Один пуд – около 16,4 килограмм.

Дополнительные задания:

01 Два сообщения содержат одинаковое количество символов. Количество информации в первом тексте в 1,5 раза больше, чем во втором. Сколько символов содержат алфавиты, с помощью которых записаны сообщения, если известно, что число символов в каждом алфавите не превышает 10 и на каждый символ приходится целое число битов?

02 Два сообщения содержат одинаковое количество информации. Количество символов в первом тексте в 2,5 раза меньше, чем во втором. Сколько символов содержат алфавиты, с помощью которых записаны сообщения, если известно, что размер каждого алфавита не превышает 32 символов и на каждый символ приходится целое число битов?

03 ДНК человека (генетический код) можно представить себе как некоторое слово в четырехбуквенном алфавите, где каждой буквой помечается звено цепи ДНК, или нуклеотид. Сколько информации (в битах) содержит ДНК человека, содержащий примерно 1,5 х1023 нуклеотидов?