Объёмный и содержательный подход к измерению информации

Учебный элемент

Тема: «Объёмный и содержательный подходы к измерению информации.» - 11 -

Предмет: «Информатика»

Цели:

Изучив данный учебный элемент, Вы узнаете:

• об алфавитном (объёмном) подходе к измерению информации;

• о содержательном подходе к измерению информации;

• о вероятности и информации;

• о примерах решения задач по данной теме;

Оборудование, материалы и вспомогательные средства:

1. персональный компьютер;

2. мультимедиа проектор;

3. презентация урока;

4. раздаточный материал.

Сопутствующие учебные элементы и пособия:

1. Учебник И.Г. Семакин и др.

Как можно измерить информацию? Определить её объём.

Существуют два подхода в измерении количества информации: алфавитный (объёмный) и вероятностный (содержательный)

1. Алфавитный подход к определению количества информации

Алфавитный подход позволяет определить количество информации, заключенной в тексте.

Алфавит: все буквы, цифры, знаки препинания, скобки, пробел, специальные знаки.

Полное число символов в алфавите называют мощностью алфавита - N.

В алфавитном подходе: каждый символ алфавита имеет определённый информационный вес – i.

Информационный вес символа зависит от мощности алфавита.

Двоичный алфавит имеет самую маленькую мощность, так как состоит всего из двух символов: 0 и 1.

Информационный вес символа двоичного алфавита принят за единицу информации и называется 1 бит.

Итак, информационный вес каждого символа (i) и мощность алфавита (N) связаны формулой:

2ⁱ=N (формула Хартли)

Информационный объём (I) текста, содержащего К символов:

I = К * i

Максимального размера алфавита не существует, но есть достаточный. Его мощность равна 256 символов.

N=256; 256=2^i, ; i=8, т.е. один символ этого алфавита весит 8 бит. Его назвали байт.

1 байт = 8 бит

Пример:

мощность русского алфавита равна 54: 33 буквы +10 цифр + 11 знаков препинания + скобки + пробел.

N – количество символов (возможных событий)

i (бит) информации несёт каждый символ

2ⁱ=N N=54 ð i= 5,755 бит

Значит, 1 символ русского алфавита несёт 5,755 бит информации

Пример

Найти объём информации книги, сделанной с помощью текстового редактора, если она содержит 150 страниц, на каждой странице – 40 строк, в каждой строке – 60 символов.

Решение

1 страница содержит: 40*60=2400 байт информации.

Книга: 2400 байт*150=360 000 байт.

2. Содержательный подход к измерению информации

Содержательный подход – сущность состоит в том, что количество информации связывается с содержанием сообщения.

1 бит информации несёт сообщение, уменьшающее неопределённость знания в два раза.

Неопределённость знания о результате некоторого события – это количество возможных результатов.

Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления.

Пример.

На книжном стеллаже восемь полок. Книга может быть положена на любую из них.

Сколько информации содержит сообщение о том, где находится книга?

Решение

Вопрос №1: книга лежит выше 4 полки?

Ответ: нет.

1 2 3 4 5 6 7 8 (1 бит)

Вопрос №2: книга лежит ниже 3 полки?

Ответ: да.

1 2 3 4 (1 бит)

Вопрос №3: книга на 2 полке?

Ответ: нет.

1 2 (1 бит)

Итог: книга лежит на 1 полке.

1 (3 бита)

Сообщение об одном из двух равновероятностных результатов некоторого события несёт 1 бит информации.

Количество информации i, содержащейся в сообщении о том, что произошло одно из N равновероятностных событий, определяется из решения показательного уравнения:

N = 2ⁱ - главная формула информатики

Если N – целая степень числа, то решение простое. Если N=8, то 8=2ⁱ , 2³ =2ⁱ , значит i=3

Если N – нецелая степень числа? У кубика 6 граней:

Если N=6, то 6 =2ⁱ , поэтому i – дробное число. 2 i

значит i = 2,58496

Таблица. Количество информации в сообщении об одном из N равновероятностных событий.

Примеры решения задач

Задача 1

Одно племя имеет 32-символьный алфавит, а второе племя – 64-символьный алфавит. Вожди племен обменялись письмами. Письмо первого племени содержало 80 символов, а письмо второго племени – 70 символов. Сравните объем информации, содержащийся в письмах.

Задача 2

Информационное сообщение объемом 1,5 Кб содержит 3072 символа. Сколько символов содержит алфавит, при помощи которого было записано это сообщение?

Задача 3

Для записи сообщения использовался 64-символьный алфавит. Каждая страница содержит 30 строк. Все сообщение содержит 8775 байт информации и занимает 6 страниц. Сколько символов в строке?

Задача 4

Считая, что каждый символ кодируется одним байтом, определите, чему равен информационный объем следующего высказывания Жан-Жака Руссо: Тысячи путей ведут к заблуждению, к истине – только один.

Что такое «неопределенность знаний»?  Рассмотрим примеры:

 Пример 1: Вы бросаете монету, загадывая, что выпадет: орел или решка?

Решение: Есть два варианта возможного результата бросания монеты.  Ни один из этих вариантов не имеет преимущества перед другим (равновероятны). Перед подбрасыванием монеты неопределенность знаний о результате равна двум.

 После совершения действия неопределенность уменьшилась в 2 раза.  Получили 1 бит информации.

Ответ: Результат подбрасывания монеты принес   1 бит информации.

 Пример 2: Студент на экзамене может получить одну из четырех оценок: 5, 4, 3, 2. Учится неровно и с одинаковой вероятностью может получить любую оценку. После сдачи экзамена, на вопрос: «Что получил?» - ответил: «Четверку». Сколько бит информации содержится в его ответе?

Решение: Если сразу сложно ответить на вопрос, то можно отгадать оценку, задавая вопросы, на которые можно ответить только «да» или «нет», т.е. поиск осуществляется отбрасыванием половины вариантов.

Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

1 вопрос: Оценка выше тройки?                     - ДА

(число вариантов уменьшилось в два раза.) Получен 1 бит информации.

2 вопрос: Ты получил пятерку?                       - НЕТ

(выбран один вариант из двух оставшихся: оценка – «четверка».)  Получен еще 1 бит.

В сумме имеем 2 бита.

Ответ:Сообщение о том, что произошло одно из четырех равновероятностных событий несёт 2 бита информации.

  Самостоятельная работа

Задание 1

Два текста содержат одинаковое количество символов. Первый текст составлен в алфавите мощностью 16 символов. Второй текст в алфавите мощностью 256 символов. Во сколько раз количество информации во втором тексте больше, чем в первом?

Задание 2

Мощность алфавита равна 256. Сколько Кбайт памяти потребуется для сохранения 160 страниц текста, содержащего в среднем 192 символа на каждой странице?

Задание 3

Сколько различных последовательностей длиной в 7 символов можно составить из цифр 0 и 1?

Задание 4

Объем сообщения равен 11 Кбайт. Сообщение содержит 11264 символа. Какова мощность алфавита?

Контрольные вопросы

1. Сущность объёмного подхода к измерению информации

2. Определение бита с алфавитной точки зрения

3. Связь между размером алфавита и информационным весом символа

4. Связь между единицами измерения: бит, байт, Кбайт, Мбайт, Гбайт

5. Сущность содержательного подхода информации

6. Определение бита с позиции содержания сообщения.

Иванилова Т.С.

Липецкий политехнический техникум