14. Совместная энтропия статистически зависимых источников сообщений. Взаимная энтропия источников.

Зависимые источники: Рассмотрим 2 ансамбля X и Y, связанных между собой вероятностной зависимостью.

Суммируем столбцы матрицы и получаем схему объединения:

При оценке не опред. выбора часто приходится учитывать стат. Связи, кот. в большинстве случаев имеют место как состояние 2 или нескольких источников, объединенных в рамках системы, так и между соседними, последоват-но выбираемыми источниками.

Определим 2 статистически связанных ансамбля X и Y.

Вероятности p(yi xi) – совместная реализация взаимозависимых состояний xi и yi, кот. можно выразить через условную p(xi | yi) в соответствии с тем, что принять за причину, а что за следствие.

p(x y) = p(x)p(y|x)=p(y)

В рассмотренном случае частной условной вероятности:

Матрица p(xy) является основной характеристикой объединенного источника X и Y, кот. характеризуется этими вероятностями.

Вероятности p(xi yi) указывают на вероятности возможных комбинаций состояния xi источника X и состояний yi источника Y.

Энтропия объединения:

Взаимная энтропия: H(xy) = H(yx)

Характерное соотношение:

H(xy) = H(x) – H(x|y) = H(y) – H(y|x) = H(x,y) – H(x|y) – H(y|x).

Понятие взаимной энтропии соответствует взаимной информации.

Последовательность символов x1..xn, вырабатываемая источником X может претерпевать искажения на пути к приемнику, символ xi может стать yj.

Взаимная энтропия – энтропия системы “передатчик – приемник” в целом или среднее кол-во информации на пару символов – переданный и принятый.

Кол-во взаимной информации равно либо энтропии источника либо энтропии приемника.

I(x,y) = H(x,y) = H(x) = H(y).

На основании стат. данных могут быть установлены вероятности событий при условии, что имели место быть события.

• Мой сайт по Корпоративным Информационным системам
• Сайт о сервисах социальных закладок Интернета и о технологии Web2.0

Статистика