Теорема: Если
производительность источника сообщений H'(U)<C (C - пропускная способность
канала), то существует такая система кодирования, которая обеспечит сколь
угодно малую вероятность ошибки (ненадежность канала). Если же H'(U)>C, то
можно закодировать сообщение таким образом, что ненадежность канала в единице
времени будит меньше (H'(u)-с+E), где Е->0
Теорема. Несуществует способ кодирования,
который обеспечит надежность в единице времени меньше, чем величина H'(u)-C
В такой форме теорема была дана Шенноном. В
литературе формулируется следующим образом.
Если H'(u)>C, то способа кодирования,
обеспечивающего высокую достоверность не существует.
Докозательство базируется на рассмотрении
множества дискретных сообщений длинных последовательностей источника, их
свойств.
Физический смысл т. Шеннона для канала с
шумами:
Повышение
вероятности при увеличении длительности кодирования сообщения заключается в
том, что ч ростом времени увеличивается степень усреднения шума, дейтвующего в
канале U. Следовательно степень его мешающего воздествия на кодирование.
Кодирование сообщения длинными
последовательности может начатся, когда сообщение полностью поступило на кодер,
а декодирование - на декодер.
Отсюда возникает задержка tзад=2Пи*t', где t'
- время, которое уходит на кодирование, T-длительность последовательности
кодирования символов.
Др. вывод? верность
связи тем выше/меньше вероятность ошибки, чем длиннее блок кодированной
последовательности (больше, чем (С-H'(U)))? которая определяет запас пропускной
способности канала следовательно появляется возможность обмена вероятностью,
задержкой и скоростью передачи.
На практике стараются уменьшить длину
кодирования последовательности Т и пытаются добиться эффекта за счет применения
помехоустойчивых кодов.
осн.часть кор.часть
|________|_________|
t' - время
кодирования
Т - длительность
последовательности кодирования символов.
1.Теор. - задача повышения
скорости
2.Теор. - задача
повышения достоверности
lcp=H/log(M)
Ис -> K1 -> K2
-> M -> Канал -> ДМ -> ДК2 -> ДК1 -> Получатель
Здесь решаются обе задачи. В локальной сети КК
и ДКК не нужны. Для повышения надежности не нужны КИ и ДКИ.
Задачами теории
кодирования явл:
1.Наилучшее
согласование источника сообщения с каналом связи
ex: Достижение max скорости передачи
информации
2.Обеспечение max
правдоподобия/достоверности передачи сообщений
1-ая задача решается
с помощью статистического кодирования
2-ая - с помощью
помехоустойчивого кодирования
Начало теории кодирования заложил Клод Шеннон
в 1946.
им сформулированно и
достигнуто 2 основных результата:
1.Для канала без
помех.
Кодирование можно осуществлять таким образом,
что бы средняя длина сообщения не превышало некоторую величину lср>=h/log m
m - число букв в
алфавите, когда закодировали.
Кодирование, которое
учитывает это ограничение + статистические свойства источника называется
статистическим.
Для канала с шумами
существуют такие способы кодирования конечного кол-ва информации при котором
достоверность передаваемой информации может быть сколь угодно высокой, если
только скорость поступающей информации в канал не превышает пропускной
способности канала.
Кодирование ->
(Статистическое, Помехоустойчивое)
Кодированием
называется отображение одной физической системы с помощью состояния физической
системы.
ex: Кодирование звуков телефонии с помощью
электрических колебаний.
Пусть имеется система X (буквы русского алф)
система может случайным образом принять одно из свих состояний.
m=32
Отобразим множество состояний X на множество
состояний Y. Если m<n, то число состояний системы x меньше числа состояний
системы y, то нельзя каждое состояние системы x закодировать с помощью одного
единичного состояния системы y. Поэтому Прибегают к установлени. соответствия
каждого символа системы x некоторой последовательности состояний системы y.
ex: В азбуке Морзе
буквы отоюражаются последовательной комбинацией символов ._ выбор комбинаций и
установление соответствия между ними и букв системы x называется кодированием.
Коды различаются по числу символов на которых формируется комбинация, др.
словами числам сост. систему Y.
Одно и тоже сообщение мы можем закодировать
различными способами. Возникает вопрос о наиболее выгодных оптимальных
вариантах кодирования. Оптимальным считается такой код, который требует на
передачу собщения минимум времени. Если может быть несколько кодов у которых
время передачи одинаково, то оптимален, который имеет наименьшее кол-во
элементарных символов.
ex: Знаки дорожного
движения. Иконичный способ передачи информации.
Основные характеристики кодирования:
1.Длина кода (чем
длиннее, тем хуже)
2.Основание кода (в
2-ой системе счисления {0,1}; На Украине 3-ная {-1,0,1})
3.Мощность кода -
кол-во кодов комбинации, которое можно создать для передачи сообщения.
4.Полное число
кодовых комбинаций
ex: всего 16 (используется только 9 символов)
5.Число
информационных символов. Кол-во разрядов, которое используется.
6.Число проверочных
символов (для корректности кодов)
7.Избыточность кода.
R=1-log(C)/log(N)
c-мощность кода
N-полное число комбинаций
8.Скорость передачи
кодовых комбинаций
9.Вес кодовых
комбинаций. Кол-во единиц кодовых комбинаций
10.Кодовое
расстояние. Число одноименных разрядов с различными символами.
11.Весовая
характеристика кодов. Число кодовых комбинаций веса W, определенного веса.
12.Вероятность
необнаружения ошибки. Вероятность того, что принимаемый код отличается от
переданного, а св-ва данного кода не позволяют оределить факт наличия ошибки.
13.Оптимальность
кода. Св-ва такого кода, который обеспечит мин вероятность необнаружения ошибки
среди всех кодов такой же длины и такой же избыточности.
