КС109, Оценка количества информации

Задание: Рассмотреть решение задач по образцу, выполнить задания

Типовой пример. По двоичному симметричному каналу связи с помехами передаются два сигнала x₁ и x₂ с априорными вероятностями P(x₁)=3/4 и P(x₂)=1/4. Из-за наличия помех вероятность правильного приема каждого из сигналов уменьшается до 7/8. Требуется определить:

1) полную информацию I(X) на выходе источника сигналов;

2) взаимную частную информацию I(y₂,x₂) двух случайных сигналов на выходе и входе канала связи относительно друг друга (т.е. количество информации о сигнале x₂ источника в сообщении y₂ приемника);

3) условную частную информацию I(x₂/y₂), содержащуюся в сообщении x₂ источника при условии приема сообщения y₂;

4) среднее количество информации I(y₂,X) в принятом сообщении y₂ относительно всех передаваемых сообщений X(x₁,x₂);

5) среднее количество взаимной информации I(Y,X) в сообщениях Y приемника о сообщениях X источника;

Решение. По условию:

а) безусловные вероятности P(x_i)=Px_i сообщений x₁ и x₂:

; .

б) условные вероятности P(y_j/x_i)= приема сообщений y₁, y₂ при условии передачи сообщений x₁, x₂:

; ; ; .

Вычислим вероятности P(y_j)=Py_j , P(x_i, y_j)=Pxy_i,j и P(x_i/y_j)= при и , необходимые для расчета информационных характеристик:

.

 задание начального значения индексов;

; .

Итак, ; ;

; .

Так как или ,

то имеем следующие условные вероятности

_.

; ; ;

Определим единицы измерения количества информации:

а) при натуральном логарифме (нит)  ;

б) при двоичном логарифме (бит)  .

В случае дискретного источника полное количество информации на его выходе в расчете на одно сообщение, согласно (2.2), совпадает с энтропией источника (1.1) и будет

; или .

Согласно (2.7), взаимная частная информация I(y₂,x₂) двух сигналов

или ;

; .

Условная частная информация I(x₂/y₂)

; .

Согласно (2.5), среднее количество информации I(y_j,X) в принятом сообщении y_j относительно всех передаваемых сообщений X

; ;

; .

Согласно (2.4), среднее количество взаимной информации I(Y,X) в сообщениях Y приемника относительно всех передаваемых сообщений X

; .

Рассмотрим второй способ определения I(Y,X). Найдем, согласно (1.5), условную энтропию источника при условии снятия неопределенности приемника

; .

Тогда на основании (2.3) с учетом I(X)=H(X) среднее количество взаимной информации I(Y,X) в расчете на одно сообщение

; .

Типовые задачи.

Задача 1. В линию связи посылаются равновероятные и статистически независимые дискретные сигналы x₁ и x₂ ( ). Действие помех приводит к тому, что на выходе канала связи имеются сигналы z₁, z₂ и z₃ ( ) с матрицей условных вероятностей P(z_i/x_j)= при

.

Определить полную взаимную информацию I(X,Z)=I_XZ.

Ответ. Матрица безусловных вероятностей выходного сигнала

_.

Матрица совместных вероятностей входного и выходного сигналов

.

Полная взаимная информация .

Задача 2. Измеряемая величина X на интервале [ ] при с параметрами и

имеет усеченный нормальный закон распределения с плотностью вероятности (рис.2.3.1 при и )

.

Погрешность  каждого результата измерения (например, ) при параметре имеет распределение Лапласа (двустороннее экспоненциальное) с плотностью вероятности (рис.2.3.1 при и )

.

Рис.2.3.1

Требуется найти количество информации, получаемой в среднем на одно измерение.

Ответ. Коэффициент

.

Количество информации

, .

Задача 3. Информация передается путем изменения амплитуды сигнала x, распределенной по нормальному закону с параметрами  среднее значение и дисперсия . Величина X измеряется регистрирующим устройством с погрешностью Z, не зависящей от амплитуды сигнала и также распределенной по нормальному закону со средним значением и дисперсией .

Определить количество информации I(X,Y)=I_XY о величине X, содержащееся в результатах измерения Y=X+Z.

Ответ. ______________________________________________________________________

Задача 4. По каналу связи с одинаковыми вероятностями передаются статистически независимых сигнала x_i ( ). При отсутствии помех передаваемому сигналу x_j соответствует на выходе канала сигнал y_j ( ). При наличии помех каждый передаваемый сигнал может быть с вероятностью принят правильно и с вероятностью искажен и перейти при этом в любой из остальных выходных сигналов.

Определить среднее количество информации на один сигнал, передаваемое по каналу при наличии и отсутствии помех.

Ответ. ___________________________________________________________

Задача 5. Система передачи информации характеризуется при , и матрицей P(X,Y)=Pxy совместных вероятностей

.

Определить среднее количество взаимной информации I(X,Y)=I_XY.

Ответ. ___________________________________________________________________________