КС109, Основы теории информации

Тема 1. О

Типовой пример. Имеются три дискретных источника информации X(x₁,x₂), Y(y₁,y₂,y₃) и Z(z₁,z₂). Вероятности появления сообщений P(x_i), P(y_i) и P(z_i) каждого источника заданы при , и (задание начальных значений индексов) векторами

, и .

Требуется определить, какой источник обладает большей неопределенностью.

Решение. Сначала определим единицы измерения количества энтропии:

а) при натуральном логарифме (нит)  ;

б) при двоичном логарифме (бит)  .

На основании (1.1) энтропии источников:

• первого 

и составит ;

• второго 

и составит ;

• третьего 

и составит .

Таким образом, в случае равновероятных сообщений большей неопределенностью обладает троичный источник Y. При этом неопределенность может быть подсчитана так же как мера Хартли, равная logN, где N  число равновероятных сообщений. Сравнение двоичных источников X и Z показывает, что большей неопределенностью обладает источник с равновероятными сообщениями.

Типовые задачи

Задача 1. Имеются три дискретных источника информации X(x₁,x₂,x₃), Y(y₁,y₂) и Z(z₁,z₂). Вероятности появления их сообщений P(x_i), P(y_i) и P(z_i) заданы при векторами

, и .

Вычислить среднюю неопределенность каждого источника и установить связь между их энтропиями.

Ответ. Средняя неопределенность источников:

; ; .

Связь между энтропиями источников определяется выражением

.

Задача 2. Предварительно определим единицу измерения энтропии как . При этом один . Элементы алфавитов X и Y статистически связаны. Известно, что энтропии и . В каких пределах меняется условная энтропия H(Y/X) при изменении H(X/Y) в максимально возможных пределах.

Ответ. Условная энтропия H(Y/X) меняется в пределах от 4 до 12 бит.

Задача 3. Предварительно определим единицу измерения энтропии как . При этом один . Дискретный источник информации X имеет энтропию , а источник Y  энтропию . Найти условную энтропию H(X/Y), если условная энтропия H(Y/X)= .

Ответ. Условная энтропия .

Задача 4. Дана при , и матрица совместных вероятностей

.

Определить энтропии H(X), H(Y), H(X/Y), H(Y/X), H(X/y₁), H(Y/x₂), H(X,Y).

Ответ. ; ; ;

; ;

; .

Задача 5. Случайный сигнал имеет с параметрами , , плотность вероятности

,

и квантуется по уровню с шагом квантования (рис.1.3.1, где p_kv(x)  плотность вероятности квантованного сигнала).

Рис.1.3.1

Найти энтропию квантованного сигнала, если условные вероятности уровней заданы при матрицей

.

Ответ. Для указанного на рис.1.2.2 способа квантования матрица безусловных вероятностей уровней будет

.

При этом энтропия квантованного сигнала .