Transcript PPT presentation

‫הכללה ואבחנה – הסקת מודלים של העולם‬
‫מבוא ללמידה והתנהגות‪ :‬התניה ומח‬
‫שעור ‪10‬‬
‫נושאים‬
‫• הכללה ואבחנה – מה חיות יכולות ללמוד?‬
‫• תאוריות ותמיכה נסיונית‪:‬‬
‫– תאוריות של אלמנטים – הרחבה של ‪R-W‬‬
‫– תאוריות קונפיגורליות – ‪Pearce‬‬
‫• השאלות המרכזיות ‪ ‬חיפוש עקרון מנחה‬
‫• ‪ Occam’s razor‬והסקה לגבי מודל של ‪ :latent causes‬איך‬
‫ניתן להסיק מתי להכליל ומתי להבחין?‬
‫• סיכום הקורס‪ :‬מה היה לנו עד כה‬
‫חזרה לבעית ה‪XOR-‬‬
‫• חיות יכולות ללמוד בעיות לא לינאריות כמו למשל בעית ‪XOR‬‬
‫(‪:)negative patterning‬‬
‫‪A+ ‬‬
‫‪B+ ‬‬
‫‪ABo ‬‬
‫• חוק הלמידה של ‪ R-W‬לא יכול (לינארי)‬
‫• פתרון פשוט‪ :‬הוספת יחידות (‪)elements‬‬
‫נוספות לצירופים השונים‬
‫• בעת הצגת ‪Vtotal = VA + VB + VAB :AB‬‬
‫• למידה נפרדת עבור כל יחידה‬
‫• לאחר למידת האבחנה ליחידה ‪ AB‬יהיה‬
‫ערך שלילי השווה ל‪2R-‬‬
‫תופעה בסיסית נוספת‪ :‬עקומת הכללה‬
‫•‬
‫•‬
‫•‬
‫•‬
‫באימון עם גירוי ‪ ,A‬מבחן עם גירוי שונה ממנו במקצת יראה‬
‫פחות ‪Generalization decrement :CR‬‬
‫מידת ההפחתה קשורה במידת הדמיון בין הגירוי החדש‬
‫והגירוי המקורי‬
‫אותו פתרון ב‪ :RW-‬בעצם כל גירוי הוא גירוי המורכב מהרבה‬
‫תתי‪-‬אלמנטים העוברים כל אחד התניה בנפרד‪ .‬גירוי שונה‬
‫במעט מכיל חלק מאותם אלמנטים אך לא את כולם ‪‬‬
‫הפחתה של התגובה (=הערך המנובא)‬
‫אבל‪ A+ :‬ואח"כ מבחן עם ‪ AB‬גם גורר הפחתת הכללה‪...‬‬
‫בעיות נוספות עם ‪elemental theories‬‬
‫• ניבוי‪ :‬אבחנה יותר טובה כאשר ההבדלים בין הגירויים קטנים!‬
‫–‬
‫–‬
‫–‬
‫–‬
‫נשווה למידה של ‪ A+;ABo‬ל‪AC+; ACBo -‬‬
‫בצעד הראשון ‪ ,AC+‬למידה על ‪ A‬ועל ‪C‬‬
‫בצעד השני ‪ – ACBo‬ניבוי כבר יותר גדול ‪ ‬טעות ניבוי גדולה יותר‬
‫ויותר למידה של ערך שלילי ל‪B-‬‬
‫באותה מידה‪ :‬למידה של ‪ A+;ABCo‬איטית יותר מ‪AB+;ABCo-‬‬
‫‪AC+‬‬
‫‪AC+‬‬
‫‪ACBo‬‬
‫‪ACBo‬‬
‫נסיון נוסף לפתרון‪ :‬תחרות על משאבי למידה‬
‫• נניח שיש פחות למידה על גירוי ככל שיש יותר גירויים‪:‬‬
‫‪A‬‬
‫• פותר את הבעיות הנ"ל‬
‫‪VA ‬‬
‫) ‪(R  VT‬‬
‫‪T‬‬
‫• אבל‪ :‬אימון של ‪ A+/B+/C+‬או ‪AB+/BC+/CA+‬‬
‫במבחן עם ‪ – ABC‬איזו קבוצה תגיב יותר? מה ‪R-W‬‬
‫מנבא?‬
‫• בעצם‪ :‬נראה שהעקרון המנחה הוא שלמידה של אבחנה בין‬
‫גירויים תלויה בדמיון (‪ )similarity‬ביניהם‬
‫‪Configural theory – Pearce‬‬
‫• גירוי שמוצג יכול לגרור הפעלה של מספר יחידות‬
‫• אבל‪ :‬רק זו המייצגת בדיוק את הקונפיגורציה של הגירוי הנכחי‬
‫לומדת בצעד הנכחי‬
‫) ‪E X   X (R  Vtotal‬‬
‫– חוק עדכון ‪error correcting‬‬
‫– הניבוי של ‪ – V‬בכל זאת ע"י כל היחידות‬
‫– כמו ‪ R-W‬רק מעדכן אסוסיאציה אחת‬
‫• חשוב‪ :‬אקטיבציה של היחידות עפ"י דמיון ‪S‬‬
‫(כלומר – ה‪ CR-‬נקבע ע"י מספר יחידות)‬
‫‪Vtotal   s xjE j‬‬
‫‪j‬‬
‫‪n xj n xj‬‬
‫‪s xj ‬‬
‫‪‬‬
‫‪nx n j‬‬
‫• ועוד כמה תוספות פחות אלגנטיות – כל גירוי הוא בעצם גירוי מורכב‬
‫(בשביל הפחתת הכללה)‪ ,‬גירוי עם עוצמה חזקה יותר מפעיל יותר יחידות‬
‫(בשביל הצללה) וכו'‪.‬‬
‫‪ – Configural theory‬תוצאות‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫מסביר חסימה‪ ,‬הצללה‪ negative patterning ,‬וכו'‬
‫מנבא הכללה סימטרית מ‪ AB-‬ל‪ A-‬כמו מ‪ A-‬ל‪AB-‬‬
‫ניבויים כמותיים ספציפיים‪  A+; ABo :‬ליחידה של ‪ A‬יש ערך גדול מ‪R-‬‬
‫וליחידה של ‪ AB‬ערך שלילי‪ .‬כך גם ‪ B‬לבד הוא אינהיביטורי (כי הצגתו‬
‫מפעילה את ‪ .)AB‬עתה אם יאמנו ‪  B+‬מה הניבוי? מה הניבוי של ‪?R-W‬‬
‫מסביר את התוצאות שתאוריות ‪ elemental‬לא הסבירו‬
‫אבל‪:‬‬
‫– לא מסביר ‪( summation‬שלפעמים קורה)‪.‬‬
‫הסבר באמצעות ‪context‬‬
‫– בעית 'קביעות' של קונפיגורציה –‬
‫בכל נקודת זמן הגירוי יכול להראות שונה‪...‬‬
‫– התפוצצות קומבינטורית‬
‫הכללה – חוסר סימטריה‬
Rescorla/Wagner model
:‫אימון‬
Results (Redhead & Pearce 94)
Pearce model
A+ 
BC+ 
ABCo 
‫סכימה‬
:‫אימון‬
Rescorla/Wagner model
AB+ 
CD+ 
:‫מבחן‬
)‫ (הזוגות שאומנו‬AB, CD 
)‫הכללה‬/‫ (העברה‬AC, BD 
)‫ (אלמנטים‬A, B, C, D 
Results (Rescorla 03)
Pearce model
‫‪Elemental vs. configural theories‬‬
‫• ‪– Elemental‬‬
‫– כל האלמנטים הפעילים נכנסים לאסוסיאציות עם ה‪US-‬‬
‫– דגש על מקרים בהם רואים סכימה של השפעות של גירויים נפרדים‬
‫• ‪– Configural‬‬
‫– דגש על דמיון בין גירויים כמשפיע על קושי האבחנה ביניהם‬
‫– בכל צעד בניסוי נוצרת‪/‬מתעדכנת רק אסוסיאציה אחת‬
‫• בשתיהן‪ :‬תפקיד מיוחד לחיזוק (לא מתפקד כגירוי רגיל)‬
‫• ניסויי מפתח עם פרדיקציות שונות (למשל לימוד של‬
‫‪ – (A+,B+,C+,AB+,AC+,BC+,ABCo‬כל מעבדה מקבלת‬
‫תוצאות שמתאימות למודל שלה‪...‬‬
‫שאלות חשובות‬
‫‪ .1‬באילו מצבים נייצר יחידה קונפיגורלית נוספת (ומתי רק‬
‫נסכום)?‬
‫‪ .2‬כאשר מוצג גירוי מסוים – כיצד תתבצע ההכללה‬
‫לקונפיגורציות אחרות?‬
‫‪ .3‬איך לחלק את הלמידה בין היחידות השונות?‬
‫•‬
‫•‬
‫•‬
‫תאוריות ‪ elemental‬ו‪ configural-‬מציעות תשובות שונות‬
‫אך‪ ...‬לא ברור (משיקולים תאורטים) את מי להעדיף‬
‫וגם – אין תמיכה ניסויית חד משמעית באף אחת‪ ...‬ואף יש‬
‫ניסויים שסותרים את שתיהן!‬
‫לאן הולכים מכאן? – ‪Courville + Daw 2005‬‬
‫• נדמה שכל מודל טוב בסיטואציות אחרות‪ .‬מה העקרון‬
‫שינחה אותנו?‬
‫”‪"Pluralitas non est ponenda sine necessitate‬‬
‫– ‪Plurality should not be posited without necessity‬‬
‫)‪William of Occam (1349‬‬
‫• לפי התער של אוקהם – יש לבחור את המודל הפשוט ביותר‬
‫המסביר את התצפיות‬
‫• מימוש חישובי‪ :‬הסקה בייסיאנית‬
‫(תער אוקהם אוטומטי)‬
‫מודלים מחוללים (‪ )generative‬של העולם‬
‫• ‪ – R-W‬מודל מחולל לינארי (כך גם ב‪)TD-‬‬
‫– חוק הלמידה‪ :‬מציאת ה‪ w-‬עם הנראות‬
‫‪B‬‬
‫הגבוהה ביותר (‪,)maximum likelihood‬‬
‫מסבירים את התצפיות טוב ביותר‬
‫‪wA‬‬
‫‪wB‬‬
‫– ‪ – Kalman filter‬מתיחס ל‪w-‬‬
‫‪R‬‬
‫מזון‪ ,‬שוק וכו'‬
‫כמשתנים חבויים (‪)latent variables‬‬
‫דינמיים ומנסה להסיק אותם בצורה בייסיאנית‬
‫‪A‬‬
‫• הוספת יחידות קונפיגורליות‬
‫– בכדי לפתור בעיות לא לינאריות‬
‫– אבל‪ :‬אילו יחידות להוסיף ומתי?‬
‫• סכימה מול אבחנה‬
‫‪AB‬‬
‫‪wAB‬‬
‫‪A‬‬
‫‪B‬‬
‫‪wA‬‬
‫‪wB‬‬
‫‪R‬‬
‫אור‪ ,‬צליל וכו'‬
‫מודל 'משתנים חבויים'‬
‫‪x2‬‬
‫‪A‬‬
‫‪B‬‬
‫‪R‬‬
‫‪R‬‬
‫‪x1‬‬
‫‪B‬‬
‫‪1‬‬
‫) ‪1  exp(  w ij x i‬‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪i‬‬
‫‪A‬‬
‫‪P(stim j | x, w ) ‬‬
‫החיה נחשפת לצעדים המוגרלים (זהים ב"ת) מאיזשהו מודל של‬
‫העולם‪ .‬המטרה‪ :‬להסיק את המודל מהתצפיות‬
‫‪( sigmoid belief network‬כל המשתנים בינריים)‬
‫ממדלת יחד את הגירויים והחיזוקים‬
‫‪ – x‬גורמים חבויים – ממדלים קורלציות בין קבוצות ארועים בעולם‬
‫לומדים לא רק משקולות אלא את מבנה המודל עצמו (כמה גורמים‬
‫חבויים‪ ,‬בין מי למי החיצים)‬
‫‪Courville, Daw, & Touretzky 2003, 2004‬‬
‫הסקת מבנה המודל‬
‫באילו "יחידות קונפיגורליות" להשתמש לתאור העולם?‬
‫‪R‬‬
‫‪vs‬‬
‫‪R‬‬
‫‪R‬‬
‫‪etc‬‬
‫‪B‬‬
‫‪A‬‬
‫‪vs‬‬
‫‪B‬‬
‫‪A‬‬
‫‪B‬‬
‫‪A‬‬
‫‪Learning & prediction‬‬
‫‪R‬‬
‫‪B‬‬
‫‪A‬‬
‫) ‪P( w, M | data)  P(data | w, M ) P( w, M‬‬
‫• למידה‪ P(w,M|data) :‬ע"י חוק בייס (קביעת משקולות נראות לכל‬
‫מודל ‪)w,M‬‬
‫• ניבוי‪ :‬המטרה – לדעת מתי יגיע חיזוק ‪( R‬עפ"י כל המידע עד‬
‫עכשיו‪ ,‬והגירויים בצעד הנכחי)‬
‫– )‪ - P(R|stim,data‬ע"י מיצוע (‪ )marginalization‬מעבר לכל‬
‫המודלים האפשריים (ממושקל עפ"י סבירותם) והמשקולות‬
‫)‪P( R | stim, data)    dwP( R | stim, M , w ) P( w | M , data) P( M | data‬‬
‫– מתיחס גם לשילובים של גורמים חבויים (‪)explaining away‬‬
‫– בסופו של דבר‪ ,‬דומה ל‪ Pearce-‬כי גורם נחשב סביר אם‬
‫תוצאותיו דומות למה שמוצג בצעד הנכחי‬
‫‪M‬‬
‫פשטות מול דייקנות‬
‫• התפלגות א‪-‬פריורית מעדיפה מודלים פשוטים (מעט יחידות‪,‬‬
‫מעט קשרים‪ ,‬משקולות קטנות)‬
‫• ככל שמתווסף מידע מהעולם ה‪ prior-‬מאבד מחשיבותו‬
‫ועוברים למודלים מסובכים (אך מדוייקים) יותר‬
‫• זהו סימן ההיכר של הסבר בייסיאני‪ tradeoff :‬בין סיבוכיות‬
‫המודל לנאמנותו לנתונים‬
‫סכימה‬
MAP model structure:
:‫אימון‬
AB+ 
CD+ 
:‫מבחן‬
)‫ (הזוגות שאומנו‬AB, CD 
)‫הכללה‬/‫ (העברה‬AC, BD 
)‫ (אלמנטים‬A, B, C, D 
Bayesian model
Results (Rescorla 03)
‫סימטריה בהכללה‬-‫אי‬
MAP model structure:
Results (Redhead & Pearce 94)
Bayesian model
‫התניה מסדר שני מול התניה אינהיביטורית‬
‫• פרוצדורות מאוד דומות‪:‬‬
‫– התניה מסדר שני‪ ,A+ :‬שלב ב' – ‪ABo‬‬
‫– התניה אינהיביטורית‪A+, ABo :‬‬
‫• אורך האימון משפיע על דפוס התוצאות‬
‫• ‪ – Yin et al. 1994‬צעדים משולבים של ‪ABo ,A+‬‬
‫– מעט צעדים‪ B :‬אקסיטטורי (מנבא חיזוק) ‪ ‬התניה מסדר שני‬
‫– הרבה צעדים‪ B :‬אינהיביטורי‬
‫(מנבא העדר חיזוק צפוי)‬
‫אז מה היה לנו?‬
‫• שלושה נדבכים בקורס‪:‬‬
‫– התנהגות‬
‫– מודלים חישוביים‬
‫– מח‬
‫• נסיון לקשור את כל הרמות ‪ ‬השפיע על הדגש‪ ,‬על בחירת‬
‫הנושאים‬
‫• חזרה לרמת העל – איפה היער?‬
‫התנהגות‪ :‬התניה‬
‫הבעיה‪ :‬איך בע"ח לומדים ניבוי (‪ )prediction‬ושליטה (‪?)control‬‬
‫השיטה‪ :‬התנהגות מורכבת – ריבוי מנגנונים ואינטראקציות ‪ ‬תכנון‬
‫ניסויים שיביאו לידי ביטוי אחד ויורידו למינימום השפעתם של אחרים‪.‬‬
‫זהירות‪ :‬דיכוטומיות‬
‫שני סוגי התניה‪ .1 :‬התניה קלאסית (ניבוי)‬
‫‪ .2‬התניה אופרנטית (שליטה)‬
‫דברים שהיו חשובים‪:‬‬
‫ מה נלמד? (תכולת אינפורמציה – ערך‪ ,‬סוג חיזוק וכו')‬‫ באילו תנאים מתקיימת הלמידה? (סמיכות‪ ,‬הפתעה וכו')‬‫מושגים‪ :‬ייצוג‪ ,‬אסוסיאציה‪ ,‬סמיכות‪ ,‬מפה קוגניטיבית‬
‫‪Whatever is good to know is hard to learn – Greek proverb‬‬
‫מודלים חישוביים‬
‫הבעיה‪ :‬ניבוי והתנהגות אופטימלים‪ ,‬הסבר לתופעות התנהגותיות‬
‫השיטה‪ :‬מודלים תאוריים (‪ ,)R-W‬מודלים נורמטיבים (‪ ,RL‬בייסיאנים)‬
‫דברים שהיו חשובים‪:‬‬
‫ מהם המגבלות (‪ )constraints‬שההתנהגות מציבה?‬‫ מהם האספקטים ההתנהגותיים‪/‬חישוביים שהמודל תופס ומאילו הוא‬‫מתעלם?‬
‫‪ -‬איך המודלים מעצבים את המחקר הניסויי ?‬
‫מושגים‪generative model ,cache ,forward model ,value :‬‬
‫‪All models are wrong, some models are useful – G. Box‬‬
‫מנגנונים מוחיים‬
‫הבעיה‪ :‬כיצד המח מממש למידה‪ ,‬ניבוי ושליטה (‪?)action selection‬‬
‫השיטה‪ :‬רישומים בחיה מתנהגת‪ ,‬הדמיות (‪ ,)PET ,EEG ,fMRI‬פגיעות‬
‫(‪ ,)lesions‬פרמקולוגיה‬
‫דברים שהיו חשובים‪:‬‬
‫ הכללות‪ :‬תפקיד כללי של אזור‪/‬נוירומודולטור‬‫ הבחנות‪ :‬דיסוסיאציות בין תפקידים‪/‬אזורים‪/‬נוירומודולטורים‬‫מושגים‪ :‬דופמין‪ ,Ach ,‬גרעינים בזליים‪ ,‬אמיגדלה‪ ,‬קורטקס פרונטלי‪,‬‬
‫היפוקמפוס‪( ,‬סינפסות‪ ,‬רצפטורים)‬
‫‪In theory, there is no difference between theory and practice, but not in practice. - Anonymous‬‬
‫מבט מגבוה‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫התניה קלאסית א' – מתי מתרחשת למידה? ‪ 3‬ניסויי מפתח ‪ ‬חוק‬
‫‪ R-W‬ולמידה בעזרת דופמין‬
‫התניה קלאסית ב' – אקסיטטורי‪/‬אינהיביטורי אפטטיבי‪/‬אברסיבי‬
‫(‪ fMRI ,Konorski‬של התניה אברסיבית‪)Kalman filter ,‬‬
‫התניה אופרנטית א' – ‪ ,Thorndike, Skinner‬מודל ‪Actor-Critic‬‬
‫מוטיבציה ו‪ ,energizing vs directing – free operant-‬דופמין טוני‬
‫התניה אופרנטית ב' – ‪ S-R‬מול ‪ – devaluation ,R-O‬הרגלים‬
‫והתנהגות מונחית מטרה‪ ,‬חישוב ע"י עץ או ע"י ‪ ,cache‬שתי מע' במח‬
‫קלאסית ואינסטרומנטלית – מגנון אחד או שניים? השמטה‪PIT ,‬‬
‫הכחדה – תאוריות שונות‪ ,‬אין מודלים‬
‫למידה חבויה וסכיזופרניה – ‪ LI‬כמודל פרמקולוגי לשני קטבי ההפרעה‬
‫קשב ואסוציאביליות – הפרדה בין ניבוי ללמידה (‪ ,)KF‬אמיגדלה‪Ach ,‬‬
‫הכללה ואבחנה – למידה‪/‬הסקה של מודל של העולם‬
‫תודה רבה לכם!‬