Презентация "Измерение информации"

9/30/19

Подходы к измерению информации

Подходы к измерению информации

Содержательный

Алфавитный

с точки зрения человека

с точки зрения техники

Содержательный подход

Сообщение содержит информацию, если оно новое и понятное.

Сообщение, уменьшающее неопределенность знаний в 2 раза, несёт 1 бит информации.

Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку.

где

i - количество информации в сообщении,

N – количество равновероятных событий.

Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (ни одно из событий не имеет преимуществ перед другим). Тогда количество информации в сообщении - i бит и N связаны формулой:

Задача

В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере.

Решение :

Количество возможных вариантов – 32

Алфавитный подход

Является объективным, т.е. не зависит от субъекта, воспринимающего текст.

позволяет определить количество информации, заключенной в тексте.

Алфавит - множество символов, используемых при записи текста.

Мощность (размер) алфавита (N) - полное количество символов в алфавите.

Количество информации, которое несёт каждый символ, вычисляется по формуле:

I = log 2 N

В 2-хсимвольном алфавите каждый символ весит 1 бит.

В 4-хсимвольном 2 бита.

В 256-тисимвольном 8 бит.

1 символ занимает 1 байт,

т.е. при вводе символа с клавиатуры, компьютер получает 1 байт информации.

С помощью 1 байта можно закодировать любой из 256 символов алфавита клавиатуры (2 8 =256).

При алфавитном подходе размер содержащейся в ней информации равен:

I=K*i

где i – информационный вес одного символа.

Т.е. чтобы найти количество информации в сообщении надо найти количество символов в нём (в том числе пробелов и знаков препинания) и умножить на 1 байт.