Merjenje količine informacij

A.L.Cerc

Gimnazija Vič 1

Ali lahko informacije merimo?

 Informacija nastane, kadar se zgodi poskus, katerega izid ni v naprej določen.

 Informacije so merljive količine.

Gimnazija Vič A.L.Cerc

2

Osnovna enota

 Osnovna enota za merjenje količine inf. je

bit

(

BI

nary digi NE=0)

T

- dvojiški znak 1 ali 0; DA=1,  Definicija: – En bit informacije dobimo, če lahko odgovorimo na vprašanje za katero sta možna dva enako verjetna odgovora (npr. met kovanca: cifra ali grb).

Gimnazija Vič A.L.Cerc

3

Večje enote za merjenje

 Večje enote so naslednje: BYTE… – Byte=8 bitov  Z 8 biti lahko opišemo 256 različnih stanj (2 8 =256). To je dovolj za kodiranje latinske abecede  Ti znaki so osnova za ASCII tabelo. American Standard Code Information Interchange Gimnazija Vič A.L.Cerc

4

Met kovanca

 Met kovanca G C  Trije meti kovanca Gimnazija Vič GGG GG C G C G G CC C GG C G C CC G CCC A.L.Cerc

5

Kolikšna je količina informacije, če izvemo, da je nekdo iz kupa kart (32 od 7 naprej) potegnil srčevo figuro?

  Črne nas ne zanimajo več 32 Ali je karta rdeča ali črna Ali je karta  16 kara ali srce   Kare nas ne zanimajo več

7,8,9,10

Ali je karta 8 Cifre nas ne zanimajo več cifra ali figura

F,D,K,A

Količina informacije je 3 bite A.L.Cerc

Gimnazija Vič Dobimo rezultat Srčeve figure Fant,dama,kralj,as 6

A.L.Cerc

Količina informacije

Količina informacije n [bit] Število vseh možnosti 2 n 1 2 3 4 5 6 7 8 9 10 2 1 = 2 2 2 = 4 2 3 = 8 2 4 = 16 2 5 = 32 2 6 = 64 2 7 = 128 2 8 = 256 2 9 = 512 Gimnazija Vič 2 10 = 1024 7

Domača naloga: domača žival

Koliko bitov informacije dobimo, ko zvemo, katero domačo žival je za rojstni dan prejela sosedova deklica? Želela si je ali hrčka ali puščavskega skakača ali belo miško ali papagaja. Verjetnost za katerokoli žival je enaka. Rezultat utemelji!

Verjetnost za izbiro ene od živali je 1/4. Količina informacije za eno žival = -log 2 (1/4) = 2 bita (delni rezultat) Količina informacije za obe živalci = 2* (-log 2 (1/4)) = 4 bite Gimnazija Vič A.L.Cerc

8

50.000 kitajskih pismenk

Količina informacije = log 2 X (verjetnost dogodka) log 2 X = log 10 X / log 10 2 (kalkulator) Koliko mest mora imeti koda za kodiranje 50.000 kitajskih pismenk?

Postopek rešitve: y = log 2 X (ipsilon je logaritem x na osnovi dva) y = log 2 y = log 10 50.000

50.000 / log 10 2 = 4,698 / 0,301 = 15,60 Odgovor: kitajsko abecedo kodiramo s 16 biti.

A.L.Cerc

Gimnazija Vič 9