11.
Статистические меры информации. Вероятность и информация. Понятие энтропии.
Соотношение энтропии и количества информации.
При статистическом
подходе И рассматривается как сообщение о некот. исходе нескольких событий,
кот. носят случайный х-ер или реализуются случайной величиной или ф-ией. При
этом кол-во И ставится в зависимость от априорных вероятностей этих событий,
величин, ф-ий.
Когда появляется
сообщ. о часто встречающемся событии, вероятность кот. стремится к 1, т.е. к
показателю полной достоверности, такое событие мало информативно равно как и
противоположное событие, вероятность кот. стремится к 0, т.е. оно невозможно.
Большинство видов И
можно свести к паре «событие - антисобытие». Именно эта пара явл. простым и
неделимым квантом И. (p – успех, q – неуспех, q=1-p).
Когда p=q=0,5, мы имеем
наибольшую неопр-ть в событиях. События можно рассматривать как исходы
некоторого опыта, причем они составляют ансамбль или полную группу событий.
В кач-ве опыта может
быть измерение некот. случайной величины, принимающей некот. случайные
значения. Тогда каждое определенное значение имеют смысл исхода или элемент
события.
В простом случае
события явл. несовместимыми. Они образуют полную группу событий, в кот.
обязательно реализуется одно из событий.
В общем случае
вер-ти исходов явл. const, но они могут
изменяться во времени в зависимости от условий и обстоятельств, тогда они
становятся переменными, а события, кот. они описывают – нестационарными.
Чтобы измерить
кол-во И, человек ставит себя на место приемника. В этом случае конкретное
кол-во И он рассматривает как рез-тат выбора среди мн-ва возможных вариантов
сообщ, причем выбор осуществляется по заранее определенному правилу.
Понятие «выбор»
несет в себе важный смысл: кол-во И связано с неопр-тью или неправдоподобием
конкретной И безотносительно к ее структуре.
Шеннон взглянул на
все виды И совершенно с новой позиции. И несет уменьшение неопр-ти в наших
знаниях. Принимая решение «Да» или «Нет» мы уменьшаем неопр-ть в 2 раза. Если
неопр-ть такова, что вероятности «Да» и «Нет» равны, то мы говорим, что наше
решение несет И в 1 бит.
Шеннон доказал, что
количественная оценка И, кот. несет 1 символ, требует неожиданности его
появления, т.е. вероятности. Чем реже появляется символ или чем реже происходит
некот. событие, тем меньше его вер-ть и тем больше несет кол-во И.
Неопр-ть каждой
ситуации х-ся энтропией.
В физике:
В ТИ:
Таким образом,
энтропия, полученная разными способами может отличаться коэффициентами перед
знаком суммы.
