Измерение информации

Измерение информации

Цель: научить измерять объем информации и рассчитывать количество информации сообщения.

Объяснение нового материала

Содержательный подход. Количество информации, за­ключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку.

Сообщение содержит информацию для человека, если заключенные в нем сведения являются для этого человека новыми и понятными и, следовательно, пополняют его зна­ния.

При содержательном подходе возможна качественная оценка информации: полезная, безразличная, важная, вредная ... Одну и ту же информацию разные люди могут оценить по разному.

Единица измерения количества информации называется бит.

Сообщение, уменьшающее неопределенность знании человека в два раза, песет для него 1 бит информации.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равнове­роятность обозначает, что ни одно событие не имеет преиму­ществ перед другими). Тогда количество информации, заклю­ченное в этом сообщении, — х бит и число N связаны формулой:

2^х = N.

Данная формула является показательным уравнением отно­сительно неизвестной х. Из математики известно, что решение такого уравнения имеет вид:

X=log₂N

логарифм от N по основанию 2. Если N равно целой степени двойки (2, 4, 8, 16 и т\д), то такое уравнение можно решить «в уме». В противном случае количество информации стано­вится нецелой величине, и, и для решения задачи придется вос­пользоваться таблицей логарифмов, которая приведена в При­ложении 1.

Пример 1. При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации, поскольку количество возможных вариантов результата равно 2 (орел или решка). Оба эти варианта равновероятны.

Ответ может быть получен из решения уравнения: 2^х = 2, откуда, очевидно, следует: х = 1 бит.

Вывод: в любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации.

Пример 2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)? Поскольку вытаскивание любого из 32 шаров равновероят­но, то количество информации об одном выпавшем номере на­ходится из уравнения:

2^х = 32.

Но 32 = 2⁵. Следовательно, х = 5 бит. Очевидно, ответ не зависит от того, какой именно выпал номер.

Пример 3. При игре в кости используется кубик с шес­тью гранями. Сколько бит информации получает игрок при каждом бросании кубика? Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания нахо­дится из уравнения:

2^х = 6.

Решение этого уравнения: х = log₂ 6.

Из таблицы в Приложении 1 следует (с точностью до 3-х знаков после запятой):

х = 2,585 бит.

3 а д а ч и

№ 1

Определите, какое из сообщений содержит для вас информа­цию.

— Площадь Тихого океана — 179 млн. кв. км.

— Москва — столица России.

— Вчера весь день шел дождь.

— Завтра ожидается солнечная погода.

— Дивергенция однородного векторного поля равна нулю.

— Dog— собака (по-английски).

— 2x2 = 4.

№ 2

Дайте следующим сообщениям оценки «важная», «полез­ная», «безразличная», «вредная» информация.

— Сейчас идет дождь.

— Занятия элективного курса по информатике проводятся каж­дую субботу.

— IВМ — это первые буквы английских слов, которые звучат как «интернешнел бизнес мэшинз», что по-русски означает «машины для международного бизнеса».

— Завтра будет контрольная работа по химии.

— Чтобы родители не узнали про двойку, надо вырвать стра­ницу из дневника.

— Лед — это твердое состояние воды.

— Первым человеком, полетевшим в космос, был Юрий Гага­рин.

— Номер телефона скорой помощи 02.

№ 3 «Вы выходите на следующей остановке?» — спросили челове­ка в автобусе. «Нет», — ответил он. Сколько информации со­держит ответ?

№ 4 Какой объем информации содержит сообщение, уменьшаю­щее неопределенность знаний в 4 раза?

№ 5 Вы подошли к светофору, когда горел желтый свет. После этого загорелся зеленый. Какое количество информации вы при этом получили?

№ 6 Вы подошли к светофору, когда горел красный свет. После этого загорелся желтый свет. Сколько информации вы при этом получили?

№ 7 Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?

№ 8 В корзине лежат 8 шаров. Все шары разного цвета. Сколько информации несет сообщение о том, что из корзины достали красный шар?

№ 9 Была получена телеграмма: «Встречайте, вагон 7». Известно, что в составе поезда 16 вагонов. Какое количество информа­ции было получено?