Независимые
источники:
Если 2 независимых источника с объемами алфавитов М и К рассматривать как 1
источник, кот. одновременно реализует пары состояний мiи кi,
то полагают что энтропия объединения равна сумме энтропий отдельных источников.
Зависимые источники: Рассмотрим 2
ансамбля Xи Y, связанных между
собой вероятностной зависимостью.
Суммируем столбцы
матрицы и получаем схему объединения:
При оценке не опред.
выбора часто приходится учитывать стат. Связи, кот. в большинстве случаев имеют
место как состояние 2 или нескольких источников, объединенных в рамках системы,
так и между соседними, последоват-но выбираемыми источниками.
Определим 2
статистически связанных ансамбля X и Y.
Вероятности p(yixi) – совместная реализация взаимозависимых состояний xi и yi, кот. можно
выразить через условную p(xi | yi) в соответствии с
тем, что принять за причину, а что за следствие.
p(x y) = p(x)p(y|x)=p(y)
В рассмотренном
случае частной условной вероятности:
Матрица p(xy) является основной
характеристикой объединенного источника X
и Y, кот. характеризуется этими вероятностями.
Вероятности p(xiyi) указывают на вероятности возможных комбинаций
состояния xi источника X и состояний yi источника Y.
