Transcript CURS I - STUD.usv.ro

TEORIA TRANSMITERII
INFORMAtIEI
~ CURS I ~
S.l. dr. ing. Alexandra Ligia Balan
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
Transmiterea informaţiei
Codarea informaţiei
•
• Coduri bloc
Surse discrete de informaţie
• Canale discrete de informaţie
• Coduri ciclice
• Codarea surselor discrete de
informaţie pe canale neperturbate
• Coduri BCH
• Codarea surselor discrete de
informaţie pe canale perturbate
• Coduri Reed–Solomon
(Bose/Chaudhuri/Hocquenghem)
• Coduri convoluţionale
• Coduri LDPC
(Low-Density Parity Check)
http://stud.usv.ro/TTI/CURS/
10/5/2012
2
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
BIBLIOGRAFIE:
[1] V. Munteanu, “Teoria Transmiterii Informaţiei”, Ed. “Gh. Asachi”,
Iaşi, 2001.
[2] A. T. Murgan, “Principiile teoriei informaţiei în ingineria
informaţiei şi a Comunicaţiilor”, Ed. Academiei Române, Bucuresti,
1998.
[3] M. E. Borda,”Teoria transmiterii informatiei. Teoria informaţiei şi
codării. Fundamente şi aplicaţii”, Ed. Dacia,1999.
[4] R. M. Gray, “Entropy and Information Theory”, Ed. SpringerVerlag New York, 1990
[5] J.C. Moreira, P.G. Farrell, “Essentials Of Error-control Coding”,
Ed. John Wiley & Sons Ltd., 2006.
[6] “Channel Coding in Communication Networks”, Edited by Alain
Glavieux, ISTE Ltd, 2007
[7] T.M. Cover, J.A. Thomas, “Elements Of Information Theory”, John
Wiley & Sons, Inc., 2006
http://stud.usv.ro/TTI/CURS/
10/5/2012
3
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
Teoria informaţiei sau Teoria matematică a comunicaţiilor
Obiective:
 dezvoltarea limitelor teoretice fundamentale cu
privire la performanţele atinse atunci când
comunicaţia are loc având o sursă de informaţie, un
anumit canal de comunicaţie şi folosind scheme de
codificare cunoscute;
 dezvoltarea unor scheme de codare care prevăd
performanţe îmbunătățite în comparaţie cu
performanţele optime obţinute teoretic.
http://stud.usv.ro/TTI/CURS/
10/5/2012
4
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
 Claude Shannon - “A Mathematical Theory of
Communication” - 1948
http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf
Se definesc:
-
- principalele concepte şi teoreme care sunt utilizate în
teoria informaţiei
- mărimile informaţionale: entropia şi informaţia
- elementele: sursă binară (binary source - BS) şi canal
binar simetric (binary symmetric channel - BSC)
http://stud.usv.ro/TTI/CURS/
10/5/2012
5
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
 O sursă binară este un dispozitiv care generează
una din cele două simboluri posibile “0” şi “1”, cu o
rată de transmisie dată (R) și care se măsoară în
simboluri/secundă. Aceste simboluri sunt numiți biţi
(binary digits - cifre binare) şi sunt generați aleatoriu.
 Un canal binar simetric (BSC) este un mediu prin
care este posibil să se transmită un simbol/unitate de
timp. Acest canal nu este sigur, şi este caracterizat de
probabilitatea de eroare, p (0 ≤ p ≤ 1 / 2). Simetria
acestui canal provine din faptul că p probabilitatea de
eroare este aceeaşi pentru ambele simboluri implicate
(“0” şi “1”).
http://stud.usv.ro/TTI/CURS/
10/5/2012
6
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
 Originea conceptului de entropie pornește de la
Ludwig Boltzmann (1877);
 În teoria informației Shannon, (1848), asociază
noțiunii de entropie o interpretare probabilistică;
 Entropia exprimă cantitatea de informație sau
nedeterminarea (incertitudinea) unei distribuții de
probabilitate.
Contribuția esențială a lui Shannon constă în
dezvoltarea noțiunii de entropie informațională ca
măsură a incertitudinii, concept fundamental al Teoriei
Informației (numită și Entropie Shannon).
http://stud.usv.ro/TTI/CURS/
10/5/2012
7
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
Entropia măsoară incertitudinea asociată cu o
variabilă aleatoare.
Entropia indică cantitatea de informatie conținută
într-un mesaj, exprimată în biți sau biți pe simbol.
Când este exprimată în biți, ea reprezintă
lungimea minimă pe care trebuie să o aibă un
mesaj pentru a comunica informația.
http://stud.usv.ro/TTI/CURS/
10/5/2012
8
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
Există trei concepte principale în teoria informaţiei:
 Primul se referă la definirea cantităţii de informaţie,
care ar trebui să fie în concordanţă cu o înţelegerea
fizică a proprietăţilor sale
 Al doilea concept se referă la relaţia dintre informaţie
şi sursa care o generează. Tehnicile de compresie şi
criptare sunt legate de acest concept.
 Al treilea concept se referă la relaţia dintre informaţie
şi canalul de comunicaţie prin care informaţia va fi
transmisă. Acest concept conduce la definirea unui
parametru foarte important numit capacitatea canalului.
Tehnicile de corecţie a erorilor prin procedee de
codificare sunt relaţionate de acest concept.
http://stud.usv.ro/TTI/CURS/
10/5/2012
9
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
Figura 1. Relaţia dintre teoria
informaţiei şi alte domenii [4]
http://stud.usv.ro/TTI/CURS/
10/5/2012
10
TEORIA TRANSMITERII INFORMAŢIEI
Limita compresiei
datelor
min I (𝑋, 𝑋)
CURS 1
Limita transmisiei
datelor
max I (𝑋, 𝑌)
Figura 2. Teoria informației văzută ca puncte
extreme ale teoriei comunicațiilor
http://stud.usv.ro/TTI/CURS/
10/5/2012
11
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
Care este limita de
compresie a datelor ?
Răspuns:
entropia, H
Care este rata de
transmisie într-un
sistem de
comunicaţie?
Răspuns:
http://stud.usv.ro/TTI/CURS/
capacitatea
canalului, C
10/5/2012
12
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
Schema bloc a unui sistem de transmitere a informaţiei
 Modelul Shannon
S
E
C
R
D
P
S – sursă de informaţie
E – emiţător
C – canal de transmisie
P – perturbaţii
R – receptor
D – destinatar
http://stud.usv.ro/TTI/CURS/
10/5/2012
13
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
S – sursă de informaţie
E – emiţător/ transmițător
C – canal de transmisie
P – perturbaţii
R – receptor
D – destinatar
http://stud.usv.ro/TTI/CURS/
10/5/2012
14
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
definiţie: O sursă de informaţie reprezintă mecanismul prin
care din mulţimea mesajelor sursei se alege într-un mod
imprevizibil pentru destinatar, un anumit mesaj pentru a fi
transmis.
definiţie: experimentul S formează un sistem complet de
evenimente, dacă la efectuarea acestuia cu certitudine se
realizează unul din evenimente.
http://stud.usv.ro/TTI/CURS/
10/5/2012
15
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
O sursă de informaţie caracterizată de experimentul
S cu distribuţia dată de relaţia (1) se numeşte discretă
dacă furnizează un număr finit de mesaje ;
O sursă de informaţie numeşte completă, dacă
este îndeplinită relaţia (2);
O sursă de informaţie numeşte fără memorie,dacă
furnizarea unui mesaj la un moment dat nu depinde de
mesajele furnizate anterior;
http://stud.usv.ro/TTI/CURS/
10/5/2012
16
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
 Informaţia ataşată unui mesaj şi este o funcţie care
depinde de probabilitatea cu care acesta este furnizat.
 Atât informaţia cât şi gradul de nedeterminare au aceiaşi
măsură şi sunt o funcţie de probabilitatea de realizare a
evenimentului (mesajului).
http://stud.usv.ro/TTI/CURS/
10/5/2012
17
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
definiţie: Se consideră că se obţine o unitate de informaţie,
atunci când o sursă discretă, completă şi fără memorie
poate furniza numai două mesaje echiprobabile.
http://stud.usv.ro/TTI/CURS/
10/5/2012
18
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
http://stud.usv.ro/TTI/CURS/
10/5/2012
19
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
http://stud.usv.ro/TTI/CURS/
10/5/2012
20
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
Principalele proprietăți ale entropiei:
 Din relația (13), rezultă
nenegativă 𝐻(𝑆) ≥ 0;
că
entropia
este
 Prin diversificarea unei surse, entropia crește,
𝐻(𝑆𝑑 ) ≥ 𝐻(𝑆);
 Entropia unei surse discrete, complete și fără
memorie își atinge valoarea maximă, atunci când
mesajele sunt furnizate echiprobabil.
http://stud.usv.ro/TTI/CURS/
10/5/2012
21
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
1. Model matematic de sursă discretă, completă şi
fără memorie
definiţie: se numeşte redundanţă absolută a unei surse
diferenţa dintre valoarea maximă a entropiei acesteia şi
valoarea ei reală.
definiţie: se numeşte redundanţă relativă a unei surse
raportul dintre redundanţa absolută şi valoarea maximă a
entropiei.
definiţie: se numeşte eficienţa unei surse raportul dintre
entropia sursei şi valoarea maximă a acesteia.
http://stud.usv.ro/TTI/CURS/
10/5/2012
22
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
2. Model matematic de sursă discretă, completă,
fără memorie, extinsă
definiţie: extensia de ordin m a unei surse discrete,
complete şi fără memorie se obţine formând mesaje
compuse din succesiuni de m mesaje ale sursei
iniţiale, în toate combinaţiile posibile.
Prin metoda
demonstra că:
inducţiei
H S
m
matematice
se
poate
  mH  S 
http://stud.usv.ro/TTI/CURS/
10/5/2012
23
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
2. Model matematic de sursă discretă, completă,
fără memorie, extinsă
http://stud.usv.ro/TTI/CURS/
10/5/2012
24
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
3. Model matematic de sursă discretă, completă,
cu memorie
 Sursele de informaţie discrete cu memorie sunt cunoscute şi sub
denumirea de surse Markov. Acestea sunt caracterizate de faptul că
furnizarea unui mesaj este dependentă de unul sau mai multe mesaje
furnizate anterior.
definiţie: o sursă are memorie de ordinul m dacă furnizarea unui mesaj
este condiţionată de ultimele m mesaje furnizate anterior.
definiţie: se numeşte stare la un moment dat a unei surse cu memorie
succesiunea ultimelor m mesaje furnizate anterior momentului
cosiderat.
Dacă alfabetul unei surse Markov este format din n mesaje, iar ordinul memoriei sursei este m
rezultă că sursa va avea cel mult nm stări distincte, deoarece cele m mesaje care definesc starea
pot fi oricare din cele n mesaje care formează alfabetul sursei.
Analiza surselor de informaţie discrete se realizează folosind grafurile sau calculul matriceal.
http://stud.usv.ro/TTI/CURS/
10/5/2012
25
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
3. Model matematic de sursă discretă, completă,
cu memorie
http://stud.usv.ro/TTI/CURS/
10/5/2012
26
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
3. Model matematic de sursă discretă, completă,
cu memorie
http://stud.usv.ro/TTI/CURS/
10/5/2012
27
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
3. Model matematic de sursă discretă, completă,
cu memorie
 p 1 ,1

p 2 ,1

T  
 

 p n m ,1
p1, 2

p 2,2



p nm ,2

p1, n m 

p 2 ,n m

 

p n m ,n m 

definiţie: Matricea de trecere astfel construită este
stochastică (suma elementelor de pe fiecare linie este egală
cu unitatea, deoarece cu certitudine dintr-o anumită stare se
ajunge în une din stările posibile).
definiţie: o sursă cu memorie se numeşte staţionară dacă
probabilităţile de trecere sunt invariante în timp.
http://stud.usv.ro/TTI/CURS/
10/5/2012
28
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
4. Surse cu memorie ergodice
http://stud.usv.ro/TTI/CURS/
10/5/2012
29
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
4. Surse cu memorie ergodice
http://stud.usv.ro/TTI/CURS/
10/5/2012
30
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
5. Entropia surselor cu memorie ergodice
http://stud.usv.ro/TTI/CURS/
10/5/2012
31
TEORIA TRANSMITERII INFORMAŢIEI
CURS 1
5. Entropia surselor cu memorie ergodice
http://stud.usv.ro/TTI/CURS/
10/5/2012
32