Transcript 10-19. Формула Шеннона

Формула Шеннона
ФОРМУЛА ШЕННОНА
Количество информации для событий с различными вероятностями
определяется по формуле:
N
I   pi log2 pi
i 1
I – количество информации,
N – количество возможных событий
pi – вероятности отдельных событий
Если события равновероятны ( pi=1/N ):
N
1
1
I   log2  log2 N
N
i 1 N
ЗАДАНИЕ «БРОСАНИЕ ПЕРАМИДКИ»
Определить количество информации, которую
мы получим в результате бросания
несимметричной и симметричной пирамидок.
При бросании несимметричной четырехгранной пирамидки
вероятности отдельных событий равны: p1=1/2; p2=1/4; p3=1/8; p4=1/8.
N
Количество информации рассчитываем по формуле: I   pi log2 pi .
i 1
I =  (1/2·log21/2 + 1/4·log21/4 + 1/8·log21/8 + 1/8·log21/8) битов =
= (1/2·log22 + 1/4·log24 + 1/8·log28 + 1/8·log28) битов =
= (1/2 + 2/4+ 3/8+ 3/8) битов = 14/8 битов = 1,75 бита.
При бросании симметричной четырехгранной пирамидки вероятности
отдельных событий равны между собой: p1= p2= p3= p4=1/4.
Количество информации рассчитываем по формуле: I  log2 N.
I =  log24 = 2 бита.
Количество информации, которую мы получаем, достигает
максимального значения, если события равновероятны.
ВЫБОР ПРАВИЛЬНОЙ СТРАТЕГИИ
На получении максимального количества информации строится выбор
правильной стратегии в игре «Угадай число», в которой первый участник
загадывает целое число (например, 3) из заданного интервала (например
от 1 до 16), а второй должен «угадать» задуманное число.
Информационная модель игры «Угадай число»
Вопрос второго
участника
Ответ
первого
участника
Неопределенность знания
(количество возможных
событий)
Полученное
количество
информации
16
Число больше 8?
Нет
8
1 бит
Число больше 4?
Нет
4
1 бит
Число больше 2?
Да
2
1 бит
Это число 3?
Да
1
1 бит
КОМПЬЮТЕРНЫЙ ПРАКТИКУМ
Определение количества информации
Задача. В непрозрачном мешочке хранятся 10 белых, 30 красных, 30 синих
и 40 зеленых шариков. Какое количество информации будет содержать
зрительное сообщение о цвете вынутого шарика?
Так как количество шариков различных цветов неодинаково, то вероятности зрительных
сообщений о цвете вынутого из мешочка шарика также различаются и равны количеству
шариков данного цвета, деленному на общее количество шариков:
рб = 0.1;
pк = 0,2; рс = 0,3; рз = 0,4.
N
События неравновероятны, поэтому воспользуемся формулой
I   pi log2 pi .
i 1
I =  (0,1·log2 0,1 + 0,2·log2 0,2 + 0,3·log2 0,3 + 0,4·log2 0,4) битов.
Для вычисления этого выражения воспользуемся компьютерным калькулятором
Wise Calculator.
Таким образом, I ≈ 1,85 бита.