Transcript Формулы Хартли и Шеннона

Формулы Хартли и Шеннона
Вероятностный подход к
измерению количества
информации
Терехова Н.А.
1928 год
американский инженер
Хартли
процесс получения
информации рассматривает
как выбор одного сообщения
из конечного заданного
множества N равновероятных
событий
Формула Хартли:
I=log2N
где
I -количество информации,
N -число равновероятных
событий.
Задача:
Какое количество информации
требуется, чтобы угадать одно
число из 128?
Решение:
I=log2128=7 бит
Задача:
Какое количество информации
требуется, чтобы угадать одно
число из 100?
Решение:
I=log2100≈6,644 бит
Вывод:
с увеличением числа вероятных
событий (N), увеличивается
количество информации (I),
полученной при совершении
одного из событий.
Формула Хартли может быть
записана и так:
N=2I
Если N=2 (выбор из двух
возможностей),
то I=1 бит.
Так как наступление каждого из N
событий имеет одинаковую
вероятность P,
то Р=1/N.
Если событий 6, то
вероятность появления одного
события равно 1/6, если
событий 100, то вероятность
равна 0,01
=> N=1/P
Формулу Хартли можно
записать иначе:
-1
log
P
= - log P
I=log (1/P)=
2
2
2
так как p<1, то
I >0
Примеры равновероятных
сообщений:
1) при бросании монеты выпала
«решка», выпал «орел»
2) на странице книги количество
букв четное, нечетное.
Задача:
Определить, является ли
равновероятным событие – из
дверей выйдет первым мужчина
или женщина?
1948 год
американский ученый Клод
Шеннон предложил другую
формулу определения
количества информации,
учитывая возможную
неодинаковую вероятность
событий в наборе.
Формула Шеннона:
I=-(p 1 log 2p 1+
p 2 log 2p 2 + p 3 log 2p 3 +….
p N log 2p N ),
где p I вероятность того,
что именно I –е сообщение
выделено в наборе из N
сообщений.
Другая запись формулы
Шеннона:
N
I=- p i log
i 1
I -количество информации,
N -количество возможных событий,
Р I – вероятности отдельных событий.
2
pi
Задача.
Пусть имеется строка текста,
содержащая 1000 букв.
Буквы встречаются в тексте:
«о»-90 раз
«р» -40 раз
«Ф»- 2 раза
«а»-200 раз.
Какое количество информации несет
буква в строке?
Решение:
I=-(0,09*log 2 0,09 + 0,04* log 2 0,04
+ 0,002* log 2 0,002 + 0,2* log 2
0,2)=