Тема лекции: Измерение информации

Тема. Измерение информации. Передача данных

Как измерять и сравнивать информацию?

На прошлом уроке мы рассматривали фундаментальное понятие «информация», сравнивали его с понятиями «материя», «энергия», «вещество». Определили свойства информации и для удобства делили информацию на различные виды. Но ни разу не сравнивали, не прозвучало на нашем уроке «много информации», «мало информации», «сколько информации».

Как измерять то, что в разных науках определяется по разному? Можно ли измерять информацию количественно, указывая на ее размер или только качественно «много», «мало», «очень мало»?

Предположим, что объем информации зависит от ее содержания. Нам нужна информация, которая для нас нова и понятна, соответствует всем свойствам информации, то есть та, которая приносит нам новые знания, решает наши вопросы.

Тут минимальным количеством информации будет ответ «да» или «нет». Ответ на такой простой вопрос принесет нам минимум информации и уменьшит неопределенность в два раза. Было два варианта, мы выбрали один и получили минимум информации — 1 бит.

Этот подход к измерению предложил К. Шеннон.

Информация (по Шеннону) — это снятая неопределённость. Величина неопределённости некоторого события — это количество возможных результатов (исходов) данного события. Сообщение, уменьшающее неопределённость знания в 2 раза, несёт 1 бит информации. Количество информации (i), содержащееся в сообщении об одном из N равновероятных результатов некоторого события, определяется из решения уравнения: 2ⁱ = N. Такой подход к измерению информации называют содержательным.

Разумно так же предположить, что текст, который для вас не понятен, понятен кому-то другому, то есть информация в нем все-таки есть. А ее объем зависит не от содержания текста, а от символов, которыми он написан. Назовем алфавитом все множество символов, используемых в языке, а их количество — мощностью алфавита.

Каждый символ, выбранный из алфавита, несет количество информации (i), вычисленное по формуле,

где N мощность алфавита.

Общее количество информации (I) во всем тексте можно посчитать по простой математической модели:

где k — количество символов в тексте.

Такой подход к измерению информации называют алфавитным. Здесь объем информации зависит от используемого алфавита и количества символов в тексте.

Этот подход к измерению информации предложил советский ученый-математик А. Н. Колмогоров.

Бит — мельчайшая единица информации. Для кодировки каждого из 256 символов, сведенных в таблицу кодировки ASCII, требуется 8 бит. Эта величина получила отдельное название — байт. Помимо бита и байта существуют более крупные единицы. Традиционно они получили приставки Кило, Мега, Гига и т. д.

Но Кило в единицах измерения информации обозначает не 10³=1000, а 2¹⁰=1024. Это недоразумение решается с конца XX века. Международная электротехническая комиссия предложила приставки «киби-, меби-, гиби-», которые лучше отражают смысл кратности степеням двойки.

Переводить единицы измерения информации можно при помощи удобной схемы

Определив подходы и единицы измерения, перейдем к оценкам. Сколько информации содержит книга? Библиотека? Видеоролик? Много? Это конечно, можно посчитать по уже известным нам простым формулам, а вот оценить «много» или «мало» не удастся, потому что это не количественные категории.

Сегодня существует понятие «большие данные». Так называют социально-экономический феномен, связанный с появлением технологических возможностей анализировать огромные массивы данных. Эти технологические возможности стремительно развиваются и уже позволяют компьютерам узнавать нас на фото, советуют нам, какую музыку слушать и какие книги читать. Такси безошибочно находит нас в большом городе и проходит тестирование беспилотный транспорт.

Объемы данных, которыми оперирует человечество, исчисляется единицами зеттабайт, это единицы и 61 «0», к 2020 году по прогнозам это будет 40—44 зеттабайтов, а 2025 возрастет ещё в 10 раз.

Данные станут жизненно-важным активом, а их безопасность — критически важным вопросом.

Подходы к измерению информации

1. Алфавитный (объёмный) подход к измерению информации

С помощью алфавитного подхода можно определять количество информации в текстовом сообщении, которое состоит из символов определенного алфавита.

Алфавит – это набор символов, которые используются в некотором языке с целью представления информации.

В качестве символов могут быть использованы буквы, цифры, скобки, специальные знаки.

Мощность алфавита – это количество символов в алфавите, которое вычисляется по формуле N=2ⁱ , где i – информационный вес символа.

Например, мощность алфавита, состоящего из 26 латинских букв и дополнительных символов (скобки, пробел, знаки препинания (11 шт.), 10 цифр), - составляет 47.

Задача. Пример.

Определи информационный объём сообщения (в Кбайтах), состоящего из 8192 символов, если используется алфавит из 128 символов.

Составим краткую запись условия задачи.

Дано:

N = 128

K = 8192

Найти: I.

Решение.

1) Определим какое количество бит необходимо для кодировки одного символа. Так как мощность алфавита N = 128, то i = 7 (используем формулу N=2ⁱ).

2) затем вычислим информационный объём сообщения, которое состоит из 8192 символов, используя формулу I = K * i : I = 8192*7 = 57344 бит.

3) теперь переведем биты в Килобайты.

Поскольку 1 бит = 8 байт, а 1 Кбайт = 1024 байт, получим:

57344 бит = 57344/8 байт = 7168 байт = 7168 / 1024 Кбайт = 7 Кбайт.

Ответ: 7 Кбайт

2. Содержательный подход к измерению информации

 Информация – это знания, которые получает человек.

 Информация – это снятая неопределённость знания человека об исходе некоторого события (Клод Шеннон).

С позиции содержательного подхода сообщение, которое информирует об исходе некоторого события, снимает неопределённость знания человека об этом событии.

Сообщение несёт больше информации, в случае если изначально была большая неопределённость знания.

Неопределенность знания - это количество возможных вариаций ответа на поставленный вопрос.

Подбрасывая монету, мы знаем, выпадет: «орел» или «решка» - это равновероятные события. После броска нам известен исход события – имеем полную определенность. Неопределенность знания уменьшается в 2 раза.

Сообщение, которое уменьшает неопределенность в 2 раза, несёт 1 бит информации.

«Главная формула»

2ⁱ = N, где N - неопределённость знания (количество возможных исходов какого-то события); i – количество информации в сообщении об одном из N исходов.

Следовательно, для нахождения количества информации i, которое содержится в сообщении об одном из N равновероятных исходом какого-то события, нужно воспользоваться обратной формулой:

i = log₂ N

Задача. Пример1.

В доме 16 этажей, на каждом этаже по 4 квартиры. Какое количество информации несёт сообщение о том, что Игорь живет на 7-м этаже в квартире № 27?

Решение

Всего в доме 16*4 = 64 квартиры, то есть N=64.

Используем формулу для нахождения количества информации об одном из вариантов i = log₂ N:

i = log₂ 64 = 6 бит.

Ответ: 6 бит

Задача. Пример2.

Загадали некоторое целое число в определенном диапазоне. Угадывая это число, получили 7 бит информации. Сколько чисел содержит диапазон?

Решение

i = 7.

2ⁱ = N, значит N = 2⁷ = 128

Ответ: 128 чисел

3. Вероятностный подход к измерению информации

В жизни чаще всего случаются события, частота появления которых различна. Речь идёт о неравновероятных событиях. Например, летом чаще солнечно и ясно, чем пасмурно.

Вероятность некоторого события – это величина p (0  p  1), которая показывает частоту появления этого события в ряде однотипных испытаний.

Если событие невозможно, то его вероятность: p = 0

Если событие достоверно, то его вероятность: p = 1

Если событие может наступить или не наступить с равной вероятностью, то его вероятность: p = 0,5

ФОРМУЛА ШЕННОНА

Американский учёный Клод Шеннон был одним из основоположников теории информации и криптографии. Им была выведена в 1948 году формула для вычисления количества информации равновероятных событий:

Задача. Пример.

Пусть вероятность выпадения осадков в виде дождя равна – 0,5; ветра – 0,25; грозы и молнии – по 0,125.

Определим, какое количество информации получим при реализации одного из перечисленных событий.

Решение.

Согласно формуле Шеннона получим:

Передача информации

Передача информации — это процесс распространения информации от источника к приемнику через определенный канал связи.

На рисунке представлена схема модели процесса передачи информации по техническим каналам связи, предложенная Клодом Шенноном.

Работу такой схемы можно пояснить на примере записи речи человека с помощью микрофона на компьютер.

Источником информации является говорящий человек.

 Кодирующим устройством — микрофон, с помощью которого звуковые волны (речь) преобразуются в электрические сигналы.

 Канал связи — провода, соединяющие микрофон и компьютер.

 Декодирующее устройство — звуковая плата компьютера.

 Приемник информации — жесткий диск компьютера.

При передаче сигнала могут возникать разного рода помехи, которые искажают передаваемый сигнал и приводят к потере информации. Их называют «шумом».

В современных технических системах связи борьба с шумом (защита от шума) осуществляется по следующим двум направлениям:

1. Технические способы защиты каналов передачи от воздействия шумов. Например, применение различных фильтров, использование специальных кабелей.

2. Внесение избыточности в передаваемое сообщение, позволяющее компенсировать потерю какой-то части передаваемой по линиям связи информации.

Например, если при разговоре по телефону вас плохо слышно, то, повторяя каждое слово дважды, вы увеличиваете шансы на то, что ваш собеседник поймет вас правильно.

Но чрезмерная избыточность приводит к задержкам и удорожанию связи. Поэтому очень важно иметь алгоритмы получения оптимального кода, одновременно обеспечивающего минимальную избыточность передаваемой информации и максимальную достоверность принятой информации.

В современных системах цифровой связи для борьбы с потерей информации часто применяется следующий приём. Всё сообщение разбивается на порции — блоки. Для каждого блока вычисляется контрольная сумма, которая передаётся вместе с данным блоком. В месте приёма заново вычисляется контрольная сумма принятого блока, и если она не совпадает с первоначальной, то передача данного блока повторяется.

Важной характеристикой современных технических каналов передачи информации является их пропускная способность — максимально возможная скорость передачи информации, измеряемая в битах в секунду (бит/с).

Пропускная способность канала связи зависит от свойств используемых носителей (электрический ток, радиоволны, свет). Так, каналы связи, использующие оптоволоконные кабели и радиосвязь, обладают пропускной способностью, в тысячи раз превышающей пропускную способность телефонных линий.

Скорость передачи информации по тому или иному каналу зависит от пропускной способности канала, а также от длины закодированного сообщения, определяемой выбранным алгоритмом кодирования информации.

Современные технические каналы связи обладают, перед ранее известными, целым рядом достоинств:

— высокая пропускная способность, обеспечиваемая свойствами используемых носителей;

— надёжность, связанная с использованием параллельных каналов связи;

— помехозащищённость, основанная на автоматических системах проверки целостности переданной информации;

— универсальность используемого двоичного кода, позволяющего передавать любую информацию — текст, изображение, звук.

Объём переданной информации I вычисляется по формуле:

где v — пропускная способность канала (в битах в секунду),

а t — время передачи.

Задача. Пример.

Документ объемом 10 Мбайт можно передать с одного компьютера на другой двумя способами:

А. Передать по каналу связи без использования архиватора.

Б. Сжать архиватором, передать архив по каналу связи, распаковать.

Какой способ быстрее и насколько, если:

— средняя скорость передачи данных по каналу связи составляет 2¹⁸ бит/с;

— объем сжатого архиватором документа равен 25% от исходного объема;

— время, требуемое на сжатие документа — 5 секунд, на распаковку — 3 секунды?

Для решения данной задачи достаточно выполнить расчёты для каждого из имеющихся вариантов передачи информации.

Рассмотрим вариант А.

Длительность передачи информации в этом случае составит:

Рассмотрим вариант Б.

Длительность передачи информации в этом случае составит:

Итак, вариант Б быстрее на 232 с.

Хранение информации

Сохранить информацию — значит тем или иным способом зафиксировать её на некотором носителе.

Носитель информации — это материальная среда, используемая для записи и хранения информации.

Основным носителем информации для человека является его собственная память. По отношению к человеку все прочие виды носителей информации можно назвать внешними.

Основное свойство человеческой памяти — быстрота, оперативность воспроизведения хранящейся в ней информации. Но наша память не надёжна: человеку свойственно забывать информацию. Именно для более надёжного хранения информации человек использует внешние носители, организует внешние хранилища информации.

Виды внешних носителей менялись со временем: в древности это были камень, дерево, папирус, кожа и др. Долгие годы основным носителем информации была бумага. Развитие компьютерной техники привело к созданию магнитных (магнитная лента, гибкий магнитный диск, жёсткий магнитный диск), оптических (CD, DVD, BD) и других современных носителей информации.

В последние годы появились и получили широкое распространение всевозможные мобильные электронные (цифровые) устройства: планшетные компьютеры, смартфоны, устройства для чтения электронных книг, GPS-навигаторы и др.

Появление таких устройств стало возможно, в том числе, благодаря разработке принципиально новых носителей информации, которые:

1. Обладают большой информационной ёмкостью при небольших физических размерах.

2. Характеризуются низким энергопотреблением при работе, обеспечивая наряду с этим высокие скорости записи и чтения данных.

3. Энергонезависимы при хранении.

4. Имеют долгий срок службы.

Всеми этими качествами обладает флеш-память (англ. flash-memory). Выпуск построенных на их основе флеш-накопителей, называемых в просторечии «флэшками», был начат в 2000 году.

ВАЖНО! Подведем итоги

1) Информацию можно измерять. Для этого существуют разные подходы: содержательный подход, алфавитный и вероятностный.

2) Для измерения количества информации в объеме данных используются единицы измерения информации.

3) Важной характеристикой современных технических каналов передачи информации является их пропускная способность , измеряемая в битах в секунду (бит/с).

4) Обработка данных важна для всех сфер жизни. Технологии обработки данных стремительно развиваются и становятся жизненно-важными.

10