Спирина, М.С. Дискретная математика

Обычно, в зависимости от характера информации, выбирается наиболее целесообразный способ ее кодирования. Телевизионный канал связи кодирует изображение в виде совокупности некото­ рых «точек». Черно-белые телевизионные приемники получают два вида сигналов. Назовем их условно «точки черного и белого цве­ та», которые переданы при помощи электромагнитных волн по каналу связи. Мы получаем уже раскодированную информацию, которую телевизор представил вновь в виде изображения. Наше письмо — тоже способ кодирования. Звукам мы ставим в соответствие буквы некоторого алфавита. Тогда процесс деко­ дирования есть чтение написанного текста. В таком случае уст­ ройством, кодирующим и декодирующим озвученную информа­ цию, является мозг человека, а каналом связи — написанный текст. В индейских племенах существовал своеобразный канал связи в виде узелков на веревке. Такие «узелки на память» могли переда­ вать различные сообщения, т.е. служить источником информации. В горах альпинисты, терпящие бедствие, передают сигнал SOS свистками, а мореплаватели на судах — световыми сигналами. Студия звукозаписи тоже осуществляет кодирование музыкаль­ ных звуков и речи и их запись на магнитную кассету. А компози­ тор кодирует ту же музыку с помощью семи нот. Задача 38. Какими предварительными знаниями необходимо обладать для того, чтобы подсчитать, сколько бит информации содержит номер моего паспорта? Решение. Так как в стране 145 миллионов россиян, то надо най­ ти длину кодового слова, соответствующего одному из двух вари­ антов, для того чтобы определить, мой это паспорт или нет. Тогда 2 ' = 145000000 или У= log2145000000, т.е. У= 27. Формула Хартли J = log А позволяет установить важное свой­ ство аддитивности информации для определения количества ин ­ формации, соответствующего двум сообщениям. Если У, - log2А ,, a У2 = log2/V2, то У, + У2 = log2 N\ + log2 N2= log2( JV,A2). Хорошо известное из курса математики свойство суммы лога­ рифмов можно также объяснить с помощью игры «Бар-Кохба». Пусть нам необходимо отгадать информацию АТ, как элемент мно­ жества Я,, содержащий N{ элементов, и Х2 — элемент множества Я2, содержащего Я2 элементов. Это значит, что необходимо уста­ новить информацию о некоторой паре (хь х2), которая взята из множества Н{х Н2, содержащего Я, • N2 элементов. Таким обра­ зом, чтобы установить пару (хь х2), необходимо по формуле Хар­ тли задать \og2(N xN2) уточняющих вопросов и, следовательно, получить log2(A |A2) бит информации. Ту же самую информацию можно получить, отгадав каждый из элементов Xt или Х2 по отдельности. Для отгадывания Х\ потребу­ ется log2 Nl уточняющих вопросов, а для Х2 соответственно log2 N2 и* 307