Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS Elektrotehnički fakultet Univerzitet u Beogradu Istorijski osvrt * PLATON- upravljanje brodovima *AMPER - opšta teorija upravljanja društvom *NORBERT VINER “Kibernetika ili.
Download ReportTranscript Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS Elektrotehnički fakultet Univerzitet u Beogradu Istorijski osvrt * PLATON- upravljanje brodovima *AMPER - opšta teorija upravljanja društvom *NORBERT VINER “Kibernetika ili.
Prof. Dr Srdjan S. Stanković KIBERNETIKA DANAS Elektrotehnički fakultet Univerzitet u Beogradu Istorijski osvrt * PLATON- upravljanje brodovima *AMPER - opšta teorija upravljanja društvom *NORBERT VINER “Kibernetika ili upravljanje i komunikacije u mašinama i živim bićima”, 1948 “Kibernetika i društvo”, 1954 Predmet kibernetike INFORMACIJE UPRAVLJANJE Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici Klasifikacija kibernetskih nauka TEORIJSKA KIBERNETIKA -Socijalna kibernetika -Biološka kibernetika -Tehnička kibernetika -Bionika PRIMENJENA KIBERNETIKA -Tehnička kibernetika -Bionika Veza sa filozofskim kategorijama SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) Definicije sistema: -svaki objekt u prirodi -samo oni objekti koji predstavljaju celinu za sebe -samo oni objekti koji imaju osobinu svrsishodnosti RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina CELINA: novi kvalitet STRUKTURA I FUNKCIJA, FORMA I SUŠTINA SUBJEKAT - OBJEKAT Princip povratne sprege Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA Cilj i struktura ponašanja Svrsishodnost – ponašanje živih organizama KIBERNETIKA – teorija svrsishodnosti KIBERNETIKA – teleološka nauka FILOGENEZA, ONTOGENEZA “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici INFORMACIJA * * Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER Parabola o pećini Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, ... SISTEMI TEORIJA UPRAVLJANJA Samoorganizujući soft-hardver Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!! Inteligencija ? Alati koje nude ili podržavaju računari simuliraju samo uske segmente inteligencije u određenim domenima PROBLEM !!! OPŠTA INTELIGENCIJA - svojstvena ljudima Progres u dupliciranju inteligencije na neorganskom supstratu je teško izvodljiv vez dubljeg uvida u odnos računanja i mišljenja Kakve su mašine potrebne ? Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! Današnji paralelni računari su daleko od ovog kvaliteta ! Integracija senzora, procesora i efektora Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU) Outline • • • • • • Examples, neuroscience analogy Perceptrons, MLPs: How they work How the networks learn from examples Backpropagation algorithm Learning parameters Overfitting Examples in Medical Pattern Recognition Diagnosis • Protein Structure Prediction • Diagnosis of Giant Cell Arteritis • Diagnosis of Myocardial Infarction • Interpretation of ECGs • Interpretation of PET scans, Chest X-rays Prognosis • Prognosis of Breast Cancer • Outcomes After Spinal Cord Injury Biological Analogy Perceptrons Input units Cough Headache D rule change weights to decrease the error weights No disease Pneumonia Flu Output units Meningitis - what we got what we wanted error Perceptrons Output of unit j: Output j units oj = 1/ (1 + e- (aj+q j) ) Input to unit j: aj = S wijai Input to unit i: ai measured value of variable i i Input units AND y input output 0 00 01 0 10 0 11 1 w1 w2 x1 x2 f(x1w1 + x2w2) = y f(0w1 + 0w2) = 0 f(0w1 + 1w2) = 0 f(1w1 + 0w2 ) = 0 f(1w1 + 1w2 ) = 1 q = 0.5 f(a) = q some possible values for w1 and w2 w1 w2 0.20 0.35 0.20 0.40 0.25 0.30 0.40 0.20 1, for a > q 0, for a q XOR y input output 0 00 01 1 10 1 11 0 w1 w2 x1 x2 f(x1w1 + x2w2) = y f(0w1 + 0w2) = 0 f(0w1 + 1w2) = 1 f(1w1 + 0w2 ) = 1 f(1w1 + 1w2 ) = 0 q = 0.5 f(a) = q some possible values for w1 and w2 w1 w2 1, for a > q 0, for a q XOR y input output 0 00 01 1 10 1 11 0 w 3 w5 w q = 0.5 4 q = 0.5 z x1 w1 w2 x2 f(w1, w2, w3, w4, w5) a possible set of values for ws (w1, w2, w3, w4, w5) (0.3,0.3,1,1,-2) f(a) = q 1, for a > q 0, for a q XOR input output 0 00 01 1 10 1 11 0 w5 w1 w w2 3 w6 q = 0.5 for all units w4 f(w1, w2, w3, w4, w5 , w6) a possible set of values for ws (w1, w2, w3, w4, w5 , w6) (0.6,-0.6,-0.7,0.8,1,1) f(a) = q 1, for a > q 0, for a q Linear Separation Meningitis Flu No cough Headache Cough Headache 01 11 No treatment Treatment 00 No disease No cough No headache 10 Pneumonia Cough No headache 011 010 111 110 101 000 100 Linear Discriminant Y = a(X) + b Logistic Regression Y= 1 1 + e -a(X) + b Abdominal Pain Appendicitis Diverticulitis 0 0 Perforated Duodenal Non-specific Cholecystitis Ulcer Pain Small Bowel Obstruction Pancreatitis 0 0 0 1 0 adjustable weights 1 Male 20 Age 37 Temp 10 WBC 1 Pain Intensity 1 Pain Duration Multilayered Perceptrons Output un its k Output of unit k: ok = 1/ (1 + e - (ak+q k) ) Input to unit k: ak =Swjkoj Output of unit j: Hidden units j Multilayer ed perceptro n Perceptro n oj = 1/ (1 + e- (a j+qj) ) Input to unit j:aj =Swij ai i Input units Input to unit i:ai m easuredvalue of variable i Activation Functions... • Linear • Threshold or step function • Logistic, sigmoid, “squash” • Hyperbolic tangent Neural Network Model Inputs Age .6 34 .2 .4 S .5 .1 Gender 2 .2 .3 S .7 Stage 4 Independent variables Output .8 S .2 Weights Hidden Layer Weights 0.6 “Probability of beingAlive” Dependent variable Prediction “Combined logistic models” Inputs Age Output .6 34 .5 .1 Gender S 2 Stage “Probability of beingAlive” .8 .7 4 Independent variables Weights Hidden Layer 0.6 Weights Dependent variable Prediction Hidden Units and Backpropagation Minimizing the Error Error surface initial error negative derivative final error local minimum winitial wtrained positive change Gradient descent Error Global minimum Local minimum Overfitting Real Distribution Overfitted Model Overfitting tss Overfitted model tss a min (Dtss) a = test set b = training set tss b Stopping criterion Epochs Overfitting in Neural Nets CHD Overfitted model “Real” model Overfitted model error holdout training 0 age cycles Parameter Estimation Logistic regression • It models “just” one function – Maximum likelihood – Fast – Optimizations • Fisher • Newton-Raphson Neural network • It models several functions – – – – Backpropagation Iterative Slow Optimizations • Quickprop • Scaled conjugate g.d. • Adaptive learning rate What do you want? Insight versus prediction Insight into the model • Explain importance of each variable • Assess model fit to existing data Accurate predictions • Make a good estimate of the “real” probability • Assess model prediction in new data Model Selection Finding influential variables Logistic • Forward • Backward • Stepwise • Arbitrary • All combinations • Relative risk Neural Network • Weight elimination • Automatic Relevance Determination • “Relevance” Small sets: Cross-validation • Several training and test set pairs are created so that the union of all test sets corresponds exactly to the original set • Results from the different models are pooled and overall performance is estimated • “Leave-n-out” • Jackknife ECG Interpretation QRS am plitude R-R interval SV tachycardia QRS duration Ventricular tachycardia AVF lead LV hypertrophy S-T elevation RV hypertrophy Myocardial infarction P-R interval Thyroid Diseases Clinical ¼nding 1 Patient data Hidden lay er (5 or 10 units) . . . T4U Clinical ¼nding Final diagnoses Patient data Hidden lay er (5 or 10 units) 1 Normal . . TSH Partial diagnoses . . . Normal . . Hypothyro idism Primary hy pothy roidism Patients who will be evaluated TSH further T4U Hy perthy roidism T3 Other conditions TT4 TBG Hy pothy roidism Additional input Compensated hy pothy roidism Secondary hy pothy roidism Other conditions Time Series Y = Xn+2 Output units (dependent variables) Hidden units Weights (estimated parameters) Xn X n+1 Input units (independent variables) Time Series DXn+1n+2 Y = Xn+2 Output units (dependent v ariables) Weights (estimated parameters) Hidden units Input units (independent v ariables) Xn DXn n+1 X n+1 Evaluation Evaluation: Area Under ROCs ROC Analysis: Variations Area under ROC ROC Slope and Intercept Wilcoxon statistic Confidence interval Kibernetski pristup Ranije su objekti spoljašnjeg sveta razamatrani prevashodno sa aspekta materijalno-energetskih osobina KIBERNETIKA stavlja akcenat na analizu iformaciono-regulatornih procesa, na način ponašanja, na funkcionisanje sistema Problem “konja” prerasta u problem “konja i jahača”, pri čemu jahač, odnosno informaciono-regulaciona strana, ima primarnu ulogu (Bernštajn) KIBERNETIKA stoga predstavlja novi pravac u nauci koji donosi principijelno novu metodologiju Objekat kibernetike TEORIJSKI: idealizovani funkcionalni sistem PRAKTIČNO: svi sistemi koji postoje u živoj prirodi, društvu i tehnici Klasifikacija kibernetskih nauka TEORIJSKA KIBERNETIKA -Socijalna kibernetika -Biološka kibernetika -Tehnička kibernetika -Bionika PRIMENJENA KIBERNETIKA -Tehnička kibernetika -Bionika Veza sa filozofskim kategorijama SISTEM I NJEGOVI ELEMENTI: sistemsko – strukturni prilaz (teorija sistema) Definicije sistema: -svaki objekt u prirodi -samo oni objekti koji predstavljaju celinu za sebe -samo oni objekti koji imaju osobinu svrsishodnosti RELACIJE: diskretno – kontinualno, unutrašnje – spoljnje, deo –celina CELINA: novi kvalitet STRUKTURA I FUNKCIJA, FORMA I SUŠTINA SUBJEKAT - OBJEKAT Princip povratne sprege Teorijsko konstrukcija kibernetike: UPRAVLJANJE, INFORMACIJA, POVRATNA SPREGA MEMORIJA KIBERNETSKOG SISTEMA DINAMIČKA SVOJSTVA MODELA MOGUĆNIST “PREDVIĐANJA” STOHASTIČKO OKRUŽENJE FUNKCIJA CILJA Cilj i struktura ponašanja Svrsishodnost – ponašanje živih organizama KIBERNETIKA – teorija svrsishodnosti KIBERNETIKA – teleološka nauka FILOGENEZA, ONTOGENEZA “Život je usmeren ka ostvarenju cilja, a taj cilj je očuvanje samog života” (Pavlov) Kibernetski sistem jeste hijerarhijski sistem, pri čemu se cilj formuliše na nivou veze sistem -okruženje Akt usmeren ka cilju bio je i ostao predmet izučavanja filozofa i teoretičara u kibernetici INFORMACIJA * * Prvi tip informacije: POČETNA, STRUKTURNA Drugi tip informacije: SLOBODNA , RELATIVNA, RADNA. PRIMER: LJUDSKI MOZAK TEORIJA INFORMACIJA “Informacija je informacija, ni materija, ni energija” NORBERT VINER Parabola o pećini Senke (projekcije) na zidovima pećine nisu dovoljne da predstavljaju realnost u svim njenim aspektima Platon UPRAVLJANJE Linearni, nelinearni, deterministički, stohastički, adaptivni, robusni, kontinualni, diskretni, hibridni, složeni, hijerarhijski, optimalni, ... SISTEMI TEORIJA UPRAVLJANJA Samoorganizujući soft-hardver Odvajanje hardvera i softvera daje računarima snagu koju imaju u brzim izračunavanjima Međutim, to ih sprečava u postizanju UVIDA Primer: Softver za upravljanje fabrikom i softver za neku društvenu igru mogu biti identični, zato što predstave u simboličkom računanju nisu vezane za realni svet Egzekucija je bez razumevanja !!! Kakve su mašine potrebne ? Reeke i Edelman, 1988 Treba napustiti separaciju hardvera i softvera i praviti mašine koje rade bez programa i adaptiraju se okolini, kao što rade biološki organizmi. Softver treba da je uklopljen u hardver na nivou supstrata, koji treba da je, tako, samoorganizujući ! Današnji paralelni računari su daleko od ovog kvaliteta ! Integracija senzora, procesora i efektora Problem: Kako priroda premošćuje jaz između organizacije simbola (sintaksa) i stvarnog značenja (semantika)? Pattee, 1982 Semantičko zatvaranje sintaktičko-semantičke petlje jeste na ćelijskom nivou. Elementarne jedinice moraju da sadrže procesore i elementa za višedimenzionalno povezivanje. Kombinovanje velikog broja elemenata treba da pruži novi kvalitet - CELINU (SEPARATIZAM prema KONEKCIONIZMU) Primena neuralnih mreža Primer iz medicinske prakse Dijagnoza Struktura proteina Diajagnoza arteritisa gigantskih ćelija Infarkta miokarda Interpretacije EKG-a Interpretacija PET scena, rentgenskog snimka Coronary Disease Prognoza Karcinoma dojke Ishoda posle povrede kičmene moždine STOP Neural Net Neuralna mreža Glavne karakteristike 1. 2. 3. 4. 5. 6. Primeri, analogno neuronaukama Perceptrons, MLPs: kako oni rade? Kako mreža uči iz primera Backpropagation algoritam Parametri učenja Overfitting Input pattern Neuralna mreža za akutni infarkt miokarda Intenzitet bola Trajanje bola 2 Elevacija ST 4 Miokardni infarkt 0.8 Pušač EKG 1 1 Dob Muškarac 50 1 “Verovatnoća” infarkta miokarda March 31, 2005