Количественная характеристика информации Содержательный подход к измерению информации. Количество информации, заключенное в сообщении, определяется объемом знаний, который несет это сообщение получающему его человеку. При содержательном подходе возможна качественная оценка информации: полезная, безразличная, важная, вредная ... Одну и ту же информацию разные люди могут оценить по-разному. Единица измерения количества информации называется бит. Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации. Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий (равновероятность обозначает, что ни одно событие не имеет преимуществ перед другими). Тогда количество информации, заключенное в этом сообщении, — х бит и число N связаны формулой: 2х = N Данная формула является показательным уравнением относительно неизвестной х. Из математики известно, что решение такого уравнения имеет вид: х = 1оg2N — логарифм от N по основанию 2. Если N равно целой степени двойки (2, 4, 8, 16 и т.д.), то такое уравнение можно решить «в уме». В противном случае количество информации становится нецелой величиной, и для решения задачи придется воспользоваться таблицей логарифмов. Пример 1. При бросании монеты сообщение о результате жребия (например, выпал орел) несет 1 бит информации, поскольку количество возможных вариантов результата равно 2 (орел или решка). Оба эти варианта равновероятны. Ответ может быть получен из решения уравнения: 2х = 2, откуда, очевидно, следует: х = 1 бит. Вывод: в любом случае сообщение об одном событии из двух равновероятных несет 1 бит информации. Пример 2. В барабане для розыгрыша лотереи находится 32 шара. Сколько информации содержит сообщение о первом выпавшем номере (например, выпал номер 15)? Поскольку вытаскивание любого из 32 шаров равновероятно, то количество информации об одном выпавшем номере находится из уравнения: 2 х=32. Но 32 - это 25. Следовательно, х = 5 бит. Очевидно, ответ не зависит от того, какой именно выпал номер. Пример 3*.. При игре в кости используется кубик с шестью гранями. Сколько бит информации получает игрок при каждом бросании кубика? Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания находится из уравнения: 2х=6 Решение этого уравнения: х = 1оg2 6. Из таблицы логарифмов следует (с точностью до 3-х знаков после запятой): х = 2,585 бит. Алфавитный подход к измерению информации. Алфавитный подход к измерению информации позволяет определить количество информации, заключенной в тексте. Алфавитный подход является объективным, т.е. он не зависит от субъекта (человека), воспринимающего текст. Множество символов, используемых при записи текста, называется алфавитом. Полное количество символов в алфавите называется мощностью (размером) алфавита. Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой (равновероятно), то количество информации, которое несет каждый символ, вычисляется по формуле: i= 1оg2N где N — мощность алфавита. Следовательно, в 2-х символьном алфавите каждый символ «весит» 1 бит (log22 = 1); в 4-х символьном алфавите каждый символ несет 2 бита информации (log24 = 2); в 8-ми символьном — 3 бита (log28 = 3) и т.д. Один символ из алфавита мощностью 256 (28) несет в тексте 8 бит информации. Такое количество информации называется байт. Алфавит из 256 символов используется для представления текстов в компьютере. 1 байт = 8 бит. Если весь текст состоит из К символов, то при алфавитном подходе размер содержащейся в нем информации равен: I = К * i , где i — информационный вес одного символа в используемом алфавите. Для измерения информации используются и более крупные единицы: 1 Кбайт (килобайт) = 210 байт = 1024 байта 1 Мбайт (мегабайт) = 210 Кбайт = 1024 Кбайта 1 Гбайт (гигабайт) = 210 Мбайт = 1024 Мбайта Пример 4. Книга, набранная с помощью компьютера, содержит 150 страниц; на каждой странице — 40 строк, в каждой строке — 60 символов. Каков объем информации в книге? Решение. Мощность компьютерного алфавита равна 256. Один символ несет 1 байт информации. Значит, страница содержит 40 * 60 = 2400 байт информации. Объем всей информации в книге (в разных единицах): 2400 *150 = 360 000 байт. 360000/1024 = 351,5625 Кбайт. 351,5625/1024 = 0,34332275 Мбайт. |