Transcript PPT presentation

‫מבוא ללמידה והתנהגות‪ :‬התניה ומח‬
‫למה מח? ‪ ‬התנהגות‬
‫למה למידה? ‪ ‬כיוון ההתנהגות‬
‫• ניבוי של ארועים חשובים‬
‫• שליטה לאור הציפיות‬
‫סוגי למידה שונים במח (‪ – )supervised, unsupervised, RL‬נתמקד‬
‫בהתניה בלבד (פסיכולוגיה‪.)RL ,‬‬
‫שלושה נדבכים‬
‫ ניבוי והתנהגות אופטימלים‬:‫הבעיה‬
David Marr’s three levels of analysis:
‫מודלים נורמטיבים‬
)‫(אופטימיזציה‬
Ethology:
Computation:
- optimal foraging
- exploration etc.
- dynamic programming
- Kalman filtering
‫התנהגות ותאוריה‬
Psychology:
Algorithm:
- classical cond.
- instrumental cond.
- TD/delta rules, simple weights
- representational learning
Neurobiology:
Implementation:
‫נוירונלי‬/‫בסיס מוחי‬
- neuromodulatory systems
- basal ganglia, cortex
‫התנהגות‪ :‬התניה‬
‫הבעיה‪ :‬איך בע"ח לומדים ניבוי (‪ )prediction‬ושליטה (‪?)control‬‬
‫השיטה‪ :‬התנהגות מורכבת – ריבוי מנגנונים ואינטראקציות ‪ ‬תכנון‬
‫ניסויים שיביאו לידי ביטוי אחד ויורידו למינימום השפעתם של אחרים‪.‬‬
‫זהירות‪ :‬דיכוטומיות‬
‫שני סוגי התניה‪ .1 :‬התניה קלאסית (ניבוי)‬
‫‪ .2‬התניה אופרנטית (שליטה)‬
‫דברים שיהיו חשובים‪:‬‬
‫ מה נלמד? (תכולת אינפורמציה – תזמון‪ ,‬ערך‪ ,‬סוג חיזוק וכו')‬‫ באילו תנאים מתקיימת הלמידה? (סמיכות‪ ,‬הפתעה וכו')‬‫מושגים‪ :‬ייצוג‪ ,‬אסוסיאציה‪ ,‬סמיכות‪ ,‬מפה קוגניטיבית‬
‫‪Whatever is good to know is hard to learn – Greek proverb‬‬
‫מודלים חישוביים‬
‫הבעיה‪ :‬ניבוי והתנהגות אופטימלים‪ ,‬הסבר לתופעות התנהגותיות‬
‫השיטה‪ :‬מודלים תאוריים (‪ ,)R-W‬מודלים נורמטיבים (‪ ,RL‬בייסיאנים)‪,‬‬
‫)‪ ,curve fitting ,box and arrow‬מודלים פיסיולוגיים)‬
‫שימו לב‪ :‬בחירה אישית של סוג המודלים‬
‫דברים שיהיו חשובים‪:‬‬
‫ מהם המגבלות (‪ )constraints‬שההתנהגות מציבה?‬‫ מהם האספקטים ההתנהגותיים‪/‬חישוביים שהמודל תופס ומאילו הוא‬‫מתעלם?‬
‫ איך המודלים מעצבים את המחקר הניסויי ?‬‫מושגים‪generative model ,cache ,forward model ,value :‬‬
‫‪All models are wrong, some models are useful – G. Box‬‬
‫מנגנונים מוחיים‬
‫הבעיה‪ :‬כיצד המח מממש למידה‪ ,‬ניבוי ושליטה (‪?)action selection‬‬
‫השיטה‪ :‬רישומים בחיה מתנהגת‪ ,‬הדמיות (‪ ,)PET ,EEG ,fMRI‬פגיעות‬
‫(‪ ,)lesions‬פרמקולוגיה‬
‫דברים שיהיו חשובים‪:‬‬
‫ הכללות‪ :‬תפקיד כללי של אזור‪/‬נוירומודולטור‬‫ הבחנות‪ :‬דיסוסיאציות בין תפקידים‪/‬אזורים‪/‬נוירומודולטורים‬‫מושגים‪ :‬דופמין‪ ,‬סרוטונין‪ ,Ach ,‬נוראדרנלין‪ ,‬גרעינים בזליים‪ ,‬אמיגדלה‪,‬‬
‫קורטקס פרונטלי‪ ,‬היפוקמפוס‪( ,‬סינפסות‪ ,‬רצפטורים)‬
‫‪In theory, there is no difference between theory and practice, but not in practice. - Anonymous‬‬
‫הדבק בין הרמות‪" :‬היער"‬
‫ מה הבעיה הכללית‬‫‪ -‬סוגים (‪ )classes‬של פתרונות לבעיה‬
‫אזהרה‪ :‬יותר שאלות פתוחות מתשובות ברורות‬
‫פרטים טכניים‬
‫ מתי ואיפה‬‫ מתכונת‬‫ דרישות‪:‬‬‫‬‫‬‫‬‫‪-‬‬
‫השתתפות פעילה וחשיבה ביקורתית‬
‫קריאה לפני כל השיעור‬
‫‪ 4‬מתוך ‪ 5‬תרגילים (‪ ,20%‬הגשה בזמן)‬
‫מבחן מסכם (‪ ,70%‬מבחן בית)‬
‫ מי לא צריך להיות פה (זה לא הקורס של טלי‪ ,‬זה לא קורס בפסיכולוגיה‬‫קוגניטיבית‪ ,‬זה לא קורס קל)‬
‫ אתר הקורס‪:‬‬‫‪http://alice.nc.huji.ac.il/~yaelniv/LearningCourse/LearningCourse.htm‬‬
‫למידה‪ :‬הגדרה‬
‫בעיות אפשריות בהגדרה‪:‬‬
‫‪ .1‬לא תמיד מדובר ברכישת התנהגות חדשה (אולי דווקא בהמנעות מהתנהגות קיימת?)‬
‫‪ .2‬לא תמיד יש ללמידה תועלת ברמת הפרט (למידת דעות קדומות‪ ,‬הפרעות נפשיות‬
‫נלמדות)‬
‫‪ .3‬למידה לא תמיד מכוונת (למידה של סדר השירים בתקליט‪ ,‬סוג הרכב של השכנים)‬
‫‪ .4‬שינוי התנהגות – לא זמני (עייפות‪ ,‬שינוי מוטיבציוני‪ ,‬הביטואציה)‬
‫‪ .5‬תוצר של נסיון בניגוד להבשלה (‪( )maturation‬הליכה‪ ,‬דיבור – קשה להפריד מולד‬
‫מנלמד)‬
‫‪ .6‬שינוי במנגנוני התנהגות – לא תמיד הלמידה מתבטאת מיד‪ ,‬אלא רק נוצר פוטנציאל‬
‫לביטויה (‪ latent learning‬למשל‪ ,‬וביצוע מול למידה)‬
‫שינוי מתמשך במנגנוני ההתנהגות בסיטואציה מסוימת‪ ,‬שנגרם בעקבות‬
‫התנסות חוזרת בסיטואציה זו‪ ,‬ובתנאי שאי אפשר להסביר את השינוי‬
‫בהתנהגות ע"י נטיות ההתנהגות המולדת של האורגניזם‪/‬התבגרות או‬
‫מצב זמני‪.‬‬
‫היסטוריה‪ :‬העבר הרחוק‬
‫‪ - Nativism‬הידע הוא מולד ולמידה היא הזכרות במה שכבר קיים ב‪mind-‬‬
‫‪( Empiricism‬אריסטו) ‪ -‬הידע נלמד‪ .‬ההתנסות (הנסיון) היא המקור היחיד לידע‬
‫‪ – Associationism‬שני מנגנונים בתהליך רכישת הידע‪:‬‬
‫‪ .1‬ייצוג פנימי של מושגים פשוטים שמועתקים למאגר זכרון‬
‫‪ .2‬יצירת מושגים מורכבים ע"י קישור בזכרון של רעיונות פשוטים שקרו יחד‪.‬‬
‫ אסוסיאציות יכולות לשמר רצף ארועים בזמן‪ ,‬או רצף נסיבתי (דוג'‪ :‬אם ‪ B‬קרה‬‫מיד אחרי ‪ ,A‬תרשם בזכרון אסוסיאציה בין ‪ a‬ל‪.b-‬‬
‫ לאחר שנוצרת אסוסיאציה בין שני מושגים‪ ,‬אחד יגרום להתעוררות של הייצוג‬‫של השני‪.‬‬
‫ "צפייה‪ ,‬תכנון‪ ,‬הסבר" – קריאה בשני הכיוונים מסבירה חשיבה מופשטת‬‫‪ - Darwin‬ההנחה הבסיסית היא שקיימים תהליכי למידה כלליים לכל האורגניזמים‪.‬‬
‫נובע מכך שכולם פותרים את אותה בעיה – הצורך לנבא מתי ואיך מתרחשים‬
‫מאורעות חשובים (השרדותית) בסביבה‪ .‬זו הבעיה של למידת קשרי סיבה ותוצאה‪.‬‬
‫המשכיות מינים וטשטוש גבול גוף‪/‬נפש‪ :‬פתח למחקר של למידה גם בבע"ח‪.‬‬
‫היסטוריה‪" :‬השיטה המדעית"‬
‫הפסיכולוגיה כתחום‪ ,‬ושיטות המחקר בפסיכולוגיה אמפירית‪ ,‬צמחו במידה רבה מהתחום‬
‫של חקר למידת בעלי חיים דרך חקר התנהגות‪ ,‬בעיקר בעקבות המעבר לשיטה‬
‫המדעית‪.‬‬
‫התנהגות‪ :‬ניתנת לכימות (מדידה)‪ ,‬פומבית‪ ,‬ניתנת לשחזור‬
‫עבודה עם בע"ח קריטית בעיקר לשחזור (שליטה טובה במשתנים המחקריים)‬
‫‪)1960s( Behaviorism‬‬
‫ על תאוריות למידה לחפש החוקים שקובעים איך התנהגות תשתנה בעתיד בעקבות‬‫התנסויות העבר‪ .‬מאפיינים עיקריים‪ :‬התנהגות נצפית‪ ,‬השפעת גורמים חיצוניים‬
‫ המח כקופסא שחורה; המנעות מגורמים מתערבים‬‫שמות‪:‬‬
‫ ‪ – )1849-1936( Pavlov‬התניה קלאסית‪( stimulus substitution ,‬ריור)‬‫ ‪ – )1874-1949( Thorndike‬התניה אופרנטית‪)puzzle box( law of effect ,‬‬‫ ‪ – )1878-1958( Watson‬אבי הבהביוריזם (‪)Albert‬‬‫ ‪ – )1904-1990( Skinner‬התניה אופרנטית‪ ,‬בהביוריסט‪schedules ,Skinner box ,‬‬‫‪ – )1886-1959( Tolman -‬מפות קוגניטיביות‪goal-directed, cog. behaviorism ,‬‬
‫התניה קלאסית‬
‫התניה קלאסית‬
‫התניה קלאסית‬
‫התניה אופרנטית‬
‫מח‪ :‬הקדמה‬
Dorsal Striatum (Caudate, Putamen)
Ventral Striatum
(Nucleus Accumbens)
Prefrontal cortex
Amygdala
Substantia Nigra
Ventral Tegmental Area