Источник генерирует символ x1 и x2 с вероятностями р(x1)=0,33 и р(x2)=0,67.

Источник генерирует символ x1 и x2 с вероятностями р(x1)=0,33 и р(x2)=0,67. Построить коды Шеннона Фано и Хаффмана для для последовательности из трех символов. Каково среднее число знаков на символ? Сравнить с энтропией.

Задать свой вопрос
1 ответ
Строить коды для алфавита из 2-ух символов немного удивительно - и так понятно, что получатся 0 и 1, и все эти кодирования вздорны.

Код Шеннона - Фано: разделяем знаки на две доли, чтоб суммарные вероятности возникновения знаков долей были очень недалёки (тут в каждой доли всего один символ - по другому никак). Одной приписываем 0, иной 1. На этом всё кончилось.

Код Хаффмана: избираем два символа с меньшими вероятностями, у 1-го постфикс 0, у иного 1. Соединяем в одну верхушку, и она осталась одна. Конец.

В среднем 1 знак - 1 бит.
Энтропия - p  p = -0.33 log 0.33 - 0.67 log 0.67 = 0.915 бит на знак.

Беря во внимание, что энтропия всегда не превосходит среднюю длину кода, тут сошлось.
, оставишь ответ?
Имя:*
E-Mail:


Добро пожаловать!

Для того чтобы стать полноценным пользователем нашего портала, вам необходимо пройти регистрацию.
Зарегистрироваться
Создайте собственную учетную запить!

Пройти регистрацию
Авторизоваться
Уже зарегистрированны? А ну-ка живо авторизуйтесь!

Войти на сайт