Transcript s(t)
ןונאש טפשמ היצמרופניאה תרותו
‘Communication in the presence of noise’
C.E. Shannon, Proc. Inst. Radio Eng. (1949)
‘W.C. Fields’
עקר תצק
‘Theseus’
• An extension of “A mathematical theory of communications”, (1948).
• The basis for information theory field (first use in print of
‘bit’
) • Shannon worked for Bell-labs at the time.
• Developed the first ‘wearable computer’ to predict casinos’ roulette wheels • Built the first juggling machine (‘W.C.Fields’), and a mechanical-mouse with learning capabilities (‘Theseus’)
רוקמ היצמרופניא ' רסמ ’
תירנג תרושקת תכרעמ לש המכס
דדוקמ הפיצר היצקנופ s(t) רדשמ s(t) ) מ .
א הדש , ץחל ( Physical Channel (bandwidth W) טלקמ הפיצר היצקנופ s(t)+n(t) חנעפמ (decoder) ‘רסמ’ דעי היצמרופניאה שער n(t) : ןונאש לש לדומה .
הכובס תיטקרטסבא היעב s(t)
הפיצר היצקנופל דדוקמ
רסמ
לכ (
המיגדה טפשמ
) ןמזב תומיגד רפסמ י " ע גצוית s(t) (1 (2 ידילקוא ירטמואיג בחרמב הדוקנכ תומיגדה גוציי (3 ( ילקיזיפ ץורע ) שערה תפסות חותינ (4
ץורעב ןימאה רודישה בצק לע הלבגמ
( Whittaker-Kotel ´nikov םג )
ןונאש / טסווקיינ לש המיגדה טפשמ
: W טרס בחורל לבגומ רדושמה תואה S(f>W)=0 : הירופ גוציי תלעב , s(t) הפיצר היצקנופ • : הלש
הירופה רוט
ימדקמ פ " ע הגצייל רשפא (
2W
ךרוא ) [-W,W] ב תרדגומ
S(f)
V 1 = s(t= 1 / 2W ), V 2 = s(t= 2 / 2W ), … V n = s(t= n / 2W ) n Δt=n 1/f s ב היצקנופה תומיגד ולא
f s = 2W = טסווקיינ רדת
V n =[s(Δt), s(2 Δt), … ] • • • •
t
2
t
3
t
...
Fourier domain:
: יכ תוקיפסמ f s ב תומיגדה S(f 2WT י " ע גצוימ W טרס בחורו 2WT S ( f ) : האצותה s ( t לעב בחרמב רוטקו ) e i 2 ft dt V=[s(1/2W), s(2/2W),… , s(2WT/2W)] • • Audible human-ear frequency range: 20Hz – 17-20KHz • The Nyquist rate is therefore: 2 x 20KHz = 40KHz CD sampling rate = 44.1KHz, fulfilling Nyquist rate. Anecdotes: • Exact rate was inherited from late 70’s magnetic-tape storage conversion devices. • Long debate between Philips (44,056 samples/sec) and Sony (44,100 samples/sec)... : ל הפוממ W טרס בחורו T ךשמ לעב s(t) ףיצר תוא לכ :( תומיגדה תודוטילפמא – הדוקנה תוטנידרואוק ) םידמימ 2WT לעב בחרמב הדוקנ • V = [x 1 ,x 2 , …, x 2WT ] = [s(1/2W), …, s(2WT/2W)] : CD ה תמגודב : דמימ לעב בחרמב הדוקנ העש תב הטלקה םע קסיד 44,100sec -1 x 60sec x 60min = 158.8x10 6 dimensions (!!) "... בכרומ בחרמב ) הדוקנ ( טושפ רוציב ) ןמזה ( טושפ בחרמב ) תואה ( בכרומ רוצי ונפלחה " ( תידילקוא הקירטמ ) : תואה קפסה / תיגרנאל תיתנוכתמ הז בחרמב ( 2 קחרמ ) המרונה d 2 2 TW n 1 x n 2 2 W s 2 ( t ) dt 2 W E 2 WTP ( םיפדב החכוה ) , [-W W] םוחתב הירופ םרופסנרט ותוא תואלו תומיגדל : היציאוטניאה • :( CD ב תונושארה תומיגדה 3 ) ידמימ תלת בחרמב אמגוד V = [x 1 ,x 2 , …, x 2WT ] = [s( Δt), s(2Δt), …, s(T)] x 3 • “ mapping ” N P P x 1 x 2 ירודכ " ( ןנע " ל הדוקנ " תחרומ " N עצוממ קפסה לעב שערה תונוש בקע קיודמ אל סוידרה , ןבל ינייסואג שער תפסוה חישק רודכ אל ) R N : סוידרב ( V S+N = [s(Δt)+n(Δt), s(2Δt)+n(2Δt), … , s(T)+n(T)] ךורא ןמזב קפסהה לע יטסיטטס עצוממ ) N קוידב השענ רודכה סוידר , T רובע תרדושמה הדוקנהמ N קחרמב רודכה תפטעמ לע תמקוממ היהת טלקמב הדוקנה • • • ןותנה שערה תחת םינוש םירסמ ינש ןיב ןיחבהל בייח טלקמה : הנימא תרושקתל • x 3 N P P x 1 : םידמימ 2TW x 2 ב ' םירודכה תזירא ' תייעב ( M ) הנחבהל םינתינה םירסמה רפסמ M accesible volume sphere volume Volume{Sph ere Volume{Sph with ere a radii with a radii P N } N } P N N 2 TW רתוי םיחישק םישענ םירודכה , T , רתוי םיכורא םירסמהש לככ ) הנימא תרושקת ( וננוצרכ הנטק האיגשל תורבתסהה • • : T ןמזב תונימאב ריבעהל ןתינש םינושה םירסמה רפסמ יכ ונלביק • M P N N 2 TW :( T ןמזב םירדושמ םיטיב ) ולא םירסמ M םיגציימה םיטיבה רפסמ • # bits log 2 M TW log 2 N N : תונימאב םירבעומה היינשל םיטיבה בצק • Channel bandwidth C # bits T W log 2 C W log 2 1 P N P N N Signal to Noise Ratio (SNR) (in bits/second) ( החכוהה ףוס ) ! ‘ channel capacity theorem ’ : םסרופמה ןונאש טפשמ והז שערל תואה סחיב יולתה עדימ ליכהל הלוכי המיגד לכ , הינשב תומיגד W : היציאוטניאה C יטרואיתה בצקל עיגהל ןתינ יכ םג חיכוה ףסונב - • With no signal, the receiver measures a fluctuating noise • In our example: pressure fluctuations of air molecules impinging on the microphone (thermal energy): 2 KT P{s=v} time • The statistics of thermal noise is Gaussian: P{s(t)=v} exp(-(m/2KT)v 2 ) • The power spectral-density is constant: (power-spectrum |S(f)| 2 =const) “ white ” “ pink/brown ” frequency Channel capacity limit: C W log 2 1 P N (in bits/second) 1) Speech (e.g. this lecture): W=20KHz, P/N=~1 - 100 C 20,000bps – 130,000bps Actual bit-rate = ~ (2 words/sec) x (5 letters/word) x (5 bits/letter) = 50 bps 2) Visual sensory channel: Bandwidth (W) = (Images/sec) x (receptors/image) x (Two eyes) ~25 x ~ 50x10 6 x ~2 = ~2.55x10 9 Hz P/N > 256 C 2.5x10 9 x log 2 (256) = ~20x10 9 bps A two-hour movie: 2hours x 60min x 60 sec x 20Gbps = 1.4x10 14 bits = ~15,000 Gbytes (DVD = 4.7Gbyte) ( תינורקע ) תוליעיב רתוי רדשל ןתינ ץורעה תלוביק אולמב שומיש םישוע אל ונחנא lossless – zip (Lempel-Ziv) : הסיחדה ימתירוגלא לכל סיסבה והז lossy (mpeg, mp3, jpeg) ' בושח ' ה עדימה קר רומיש • • Original sample: 44.1Ks/s x 16bit/s = 705Kbps (CD quality) 16bit 1 0.8 0 -0.2 -0.4 0.6 0.4 0.2 -0.6 -0.8 -1 0 2000 4000 6000 8000 sample number 10000 12000 14000 16000 0 -0.2 -0.4 0.6 0.4 0.2 -0.6 -0.8 -1 0 0.8 1 44.1Ks/s x 4bit/s = 176.4Kbps 4bit 2000 4000 6000 8000 sample number 10000 12000 14000 16000 0 -0.2 -0.4 0.6 0.4 0.2 0.8 1 44.1Ks/s x 3bit/s = 132.3Kbps 3bit -0.6 -0.8 -1 0 2000 4000 6000 8000 sample number 10000 12000 14000 16000 -0.4 -0.6 -0.8 -1 0 0.6 0.4 0.2 0 -0.2 0.8 1 44.1Ks/s x 2bit/s = 88.2Kbps 2bit 2000 4000 6000 8000 sample number 10000 12000 14000 16000 44.1Ks/s x 1bit/s = 44.1Kbps (we started with 700Kbps) 1bit 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 . אצמנ רקיעה לבא , והשמ עמשנ אל הלבגמ ( הזאפה בחרמ לכל העיגמ אל ןזוא + חומ תכרעמה : תירקיעה הביסה -1 0 2000 4000 6000 8000 10000 12000 ) דוביע חוכ + תילאקיזיפ 14000 16000 sample number Another example: (smart) high-compression mp3 algorithm: @16Kbps • Images: Redundancies image compression formats - short-range similarities - patterns - repetitions - symmetries - repetitions - etc, etc …. “ a bottle ” on “a tab What information is essential?? (evolution … ?) (1954) 704Kbyte .bmp 30.6Kbyte .jpg 10.9Kbyte .jpg 8Kbyte .jpg 6.3Kbyte .jpg 5Kbyte .jpg 4Kbyte .jpg תובקוע תונומת ןיב בר ןוימד + ל " נכ : םיטרס תורחא תויתואמ רתוי תורזוחה תויתוא : טסקט • • ) עדימ דוביא אלל ( ? רסמ דדוקל ידכ ךירצ םיטיב המכ ( םיירשפאה םירסמה רפסמ = M ) #bits = log 2 M : יביטיאוטניא ןפואב ( ןברסה תמגוד ) םיירשפא םירסמ תוחפ תויתרזח / תויקוח • • log 2 M מ תוחפ םע דדוקל ןתינ םירחאמ םיצופנ רתוי םירסמ םימייק םא ( M i רסמה תעפוה תורבתסה P(Mi) ) : םידוביא אלל דודיקל יטרואתה םסחה • • bits message M i p ( M i ) log 2 p ( M i ) Source ‘Entropy’ : היציאוטניאה םיצופנה םירסמה תא דדוקל םיטיב תוחפב שומיש השענ • (entropy coding) Example: M=4 possible messages (e.g. letters): ‘ A ’ (94%), ‘ B ’ (2%), ‘ C ’ (2%), ‘ D ’ (2%) 1) Without compression: 2 bits/message : ‘A’ 00, ‘B’ 01, ‘C’ 10, ‘D’ 11. 2) A better code: (prefix coding ' אשיר דוק ' , Huffman ) ‘A’ 0, ‘B’ 10 , ‘C’ 110, ‘D’ 111 1.1 bits/msg source entropy M i p ( M i ) log 2 p ( M i ) 0 . 94 log 2 0 . 94 3 0 . 02 log 2 0 . 02 0 . 42 bits message M i p ( M i ) log 2 p ( M i ) ': תוילאקיזיפ ' תושירד 4 רחא אלממה (!) דיחיה דדמה • H=0 if P(M i )=1. ( עיפומ אל ) היפורתנאל םרות אל P(M i )=0 לעב רסמ תורבתסה יווש םירסמ רובע היפורתנא םומיסקמ : ת " ב היצמרופניא תורוקמ ינש רוביח .1 .2 .3 .4 H x+y = H x +H y הכומנ היפורתנא רתוי תוחיכש תוינבת תומייק ( רתוימ עדימ ) תויקוח לכ Channel bandwidth Signal to Noise Ratio (SNR) C W log 2 1 P N M i ( i ) log 2 ( i ) Model the vocal-tract with a small number of parameters. Lawfulness of speech subspace only fails for musical input Used by Skype / Google-talk / GSM (~8-15KBps) The ancestor of modern speech CODECs (COder DECoders): The ‘Human organ’audio CD – המיגדל טסווקיינ רדתל אמגוד
ידמימ בר ירטמואיג בחרמב םוגדה תואה גוציי
ץורעב שער תפסות ירטמואיגה גוצייה
?
רודישל םינתינ
םינוש
םירסמ המכ
( תלוביק ) ילאמיסקמה ןימאה רודישה בצק
ןבל יסואג שער = ימרת שער
םיילאקיזיפ םיצורעל תואמגוד המכ
חומ / ןזואה י " ע ץורעה לש ןטקה לוצינל המגדה
With only 4bit per sample
With only 3bit per sample
With only 2bit per sample
With only 1bit per sample (!)
( חומ + ןיע ) ילאוזיוה ץורעה לש ןטקה לוצינל המגדה
?
סוחדל ןתינ תיטרואית המכ ?
םייק עדימ המכ
דוביא אלל עדימ תסיחד : אמגוד
?
היפורתנא המל
תונקסמו םוכיס
:( היצמרופניא בצק ) ץורע תלוביקל ילאקיזיפ םסח •
in bits/second
: היצמרופניאה תומכל דדמכ היפורתנא •
bits message
p
M
p
M
The speech Vocoder (VOice-CODer)