Источник генерирует символ x1 и x2 с вероятностями р(x1)=0,33 и р(x2)=0,67.
Источник генерирует символ x1 и x2 с вероятностями р(x1)=0,33 и р(x2)=0,67. Построить коды Шеннона Фано и Хаффмана для для последовательности из трех символов. Каково среднее число знаков на символ? Сравнить с энтропией.
Задать свой вопрос1 ответ
Олеся Межевская
Строить коды для алфавита из 2-ух символов немного удивительно - и так понятно, что получатся 0 и 1, и все эти кодирования вздорны.
Код Шеннона - Фано: разделяем знаки на две доли, чтоб суммарные вероятности возникновения знаков долей были очень недалёки (тут в каждой доли всего один символ - по другому никак). Одной приписываем 0, иной 1. На этом всё кончилось.
Код Хаффмана: избираем два символа с меньшими вероятностями, у 1-го постфикс 0, у иного 1. Соединяем в одну верхушку, и она осталась одна. Конец.
В среднем 1 знак - 1 бит.
Энтропия - p p = -0.33 log 0.33 - 0.67 log 0.67 = 0.915 бит на знак.
Беря во внимание, что энтропия всегда не превосходит среднюю длину кода, тут сошлось.
Код Шеннона - Фано: разделяем знаки на две доли, чтоб суммарные вероятности возникновения знаков долей были очень недалёки (тут в каждой доли всего один символ - по другому никак). Одной приписываем 0, иной 1. На этом всё кончилось.
Код Хаффмана: избираем два символа с меньшими вероятностями, у 1-го постфикс 0, у иного 1. Соединяем в одну верхушку, и она осталась одна. Конец.
В среднем 1 знак - 1 бит.
Энтропия - p p = -0.33 log 0.33 - 0.67 log 0.67 = 0.915 бит на знак.
Беря во внимание, что энтропия всегда не превосходит среднюю длину кода, тут сошлось.
, оставишь ответ?
Похожие вопросы
-
Вопросы ответы
Новое
NEW
Статьи
Информатика
Статьи
Последние вопросы
Игорь 14 лет назад был на 8 лет моложе, чем его
Математика.
Два тела массами m1 и m2 находящие на расстоянии R друг
Физика.
В сосуде 4целых одна пятая литр воды что бы заполнить сосуд
Математика.
Двум малярам Диме И Олегу поручили выкрасить фасад дома они разделили
Разные вопросы.
найти порядковый номер 41Э если в ядре 20 нейтронов
Разные вопросы.
в ряду натуральных чисел 3, 8, 10, 24, … 18 одно
Математика.
Предприятие по производству с/хоз продукции на производство затратило 3527000 руб Валовый
Разные вопросы.
Математика, задано на каникулы. ВАРИАНТ 1004
НОМЕР 1,2,3,4,5,6,7,8.
Математика.
Имеются три конденсатора емкостью С1=1мкФ, С2=2мкФ и С3=3мкФ. Какую наименьшую емкость
Физика.
Из точки м выходят 3 луча MP MN и MK причём
Геометрия.
Облако тегов