Спирина, М.С. Дискретная математика

четырех сообщений требуется J - log24 = 2 бита. Если частота по­ явления отдельных сообщений различна, то может быть исполь­ зовано и меньшее количество сигналов. Пусть задана вероятность событий, соответствующая схеме (рис. 6.2): Р{А ) = Р(В) = Р(С) = P(D) = причем Р(А) + Р(В) + Р(С) + P(D) = 1 как вероятность достоверного события. Если закодировать буквы двоичными символами: А — 0 (1 дво­ ичный знак), В — 10 (2 двоичных знака), С — 110 (3 двоичных знака), D — 111 (3 двоичных знака), то с учетом частоты появле­ ния каждого из двоичных знаков имеем / = ^ 1 + ^ 2 + ^- 3 + 1 3 + - 3 = 1^- бит, что действительно меньше 2 бит. В естественном языке, например русском, учет вероятности (частоты) появления слов различной длины заключается в том, что с большей вероятностью появляются короткие слова. В по ­ следнем рассмотренном примере для передачи сообщения А 1 ^ ) = i необходимо J = log2 Р(А) 1082 1/2 с вероятностью = log22 = 1 бит, т.е. нужен один двоичный знак. Для передачи сообщения В с вероятностью Р(В) = нужно J = log2 } -г = 4 г(Л) = log2 -щ = log24 = 2 бита, т.е. два двоичных знака. Для передачи сообщений Си Dc вероятностью Р (С )= Р ( / ) ) = ^ нужно J - log2щ = = log28 = 3 бита, т.е. нужно три двоичных знака. Это значит, что если набор возможных сообщений, имеющихся у источника и н ­ формации, и их вероятности известны, то для каждого отдельно­ го сообщения количество информации равно логарифму величи­ ны, обратной частоте (статистической вероятности) появления этого сообщения. Для расчета среднего количества ин ­ формации суммируем произведения ста­ тистической вероятности на количество информации каждого сообщения, т.е. на логарифм величины, обратной этой ве­ роятности, и обозначим эту сумму че­ рез Н. Тогда П 1 П н = X А 1оё2 — = “ X Pi 1оё2 Pi- /= 1 Pi i=l для четырех символов 303