12.
Свойства энтропии. Энтропия как численная величина. Энтропия как статистический
параметр. Виды энтропии.
Энтропия выражается
как средняя И или средняя ф-ия мн-ва вер-тей каждого из возможных исходов
опыта.
Энтропия м.б.
определена также как среднее кол-во И на одно сообщение или мат. ожидание для
измеримой величины.
Свойства энтропии:
1.Всегда
неотрицательна.
2.Энтропия равна 0,
когда вероятность одного из событий равна 0.
3.Энтропия
максимальна в случае равновероятности. В этом случае аддитивная мера Хартли и
логарифмическая мера Шеннона совпадают. Это совпадение свидетельствует о полном
использовании информационной емкости системы. В случае неравных вероятностей
количество информации по Шеннону меньше информационной емкости системы.
4.Энтропия является
непрерывной функцией вероятности.
5.для источников с
одинаковой вероятностью событий p=1/N энтропия увеличивается с ростом числа N.
6.Разложение
процедуры выбора событий на несколько этапов не изменяет энтропию(процедуру
выбора можно свести к последовательным двоичным решениям).
Принято считать, что
кол-во И, содержащейся в дискретной И, надо измерять величиной исчезнувшей
неопр-ти.
Энтропия безусловная
H(x) - это энтропия источника или среднее значение кол-ва информации выдаваемое
источником на один символ. H(y) - энтропия приемника или среднее кол-во
информации, которое приходится на символ, получаемый приемником.
Взаимная энтропия H(xy)- взаимная энтропия
системы передачи приемник в целом или среднее кол-во информации на пару
символов (это переданный или принятый символ)
Условная энтропия H(y|x) - это условная
энтропия y относительно x или меа информации в приемнике, когда известно, что
передается x.
Условная энтропия H(x|y) - это усл. энтропия y
относительно x или мера информации в источнике, когда известно, что принимается
y.
Если в системе (1) нет помех и искажений, то
условная энтропия=0
Кол-во взаимной
информации будет равно либо энтропии источника либо энтропии приемника.
В случае отсутствия
статистической связи между источниками x и y условная энтропия источника y
относительно источника x равна безусловной энтропии источника y. Это означает,
что сигнал yi принадлежит Y является новой по отношению к сигналу xi
принадлежит X.
При наличии жесткой статистической связи между
источниками x и y условная энтропия источника y относительно x равна 0.
