Transcript ادامه
دانشگاه امير كبير دانشكده مهندس ي كامپيوتر و فناوري اطالعات سازگاري فرايندهاي يادگيري Consistency of Learning Processes ارائه دهنده :الهام باوفای حقیقی استاد درس :آقای دکتر شيري فهرست • • • • • • • 2 مقدمه همگرايي آنتروپي مجموعه اي از توابع شروط همگرايي تئوري غير قابل رد كردن نتايج ضميمه (تعاريف و بحث هاي آماري) سازگاري فرايندهاي يادگيري الهام باوفا مقدمه چه زماني مي توان همزمان با حداقل كردن ريسك مشاهدات، ريسك واقعي را نيز كم كرد؟ سازگاري Consistency 3 سازگاري فرايندهاي يادگيري الهام باوفا مقدمه تعريف سازگاري تعريف كالسيك ريسك (خطاي) مشاهدات ريسك (خطاي) واقعي 4 سازگاري فرايندهاي يادگيري الهام باوفا مقدمه انواع سازگاري ادامه... نسخه غير جدي )(trivial case نسخه جدي )(non trivial case 5 سازگاري فرايندهاي يادگيري الهام باوفا مقدمه ...ادامه انواع سازگاري نسخه غير جدي )(trivial case نسخه جدي )(non trivial case consistent 6 non trivially consistent سازگاري فرايندهاي يادگيري الهام باوفا همگرايي -همگرايي يكنواخت يك طرفه -همگرايي يكنواخت دو طرفه 7 شرط الزم و كافي همگرايي؟ براي فرايندهاي يادگيري سازگاري الهام باوفا آنتروپي مجموعه از توابع توابع جداكننده )(Indicator ادامه... Sample Set: به چند طريق مختلف مي توان با استفاده از توابع جداكننده دسته بندي هاي مختلف روي يك مجموعه از نمونه ها داشت 8 سازگاري فرايندهاي يادگيري الهام باوفا آنتروپي مجموعه از توابع ...ادامه توابع جداكننده )(Indicator Random Entropy: Entropy: افزايش آنتروپي نشاندهنده تعدد در تصميم گيري هاي مختلف و توانمندي در خرد كردن مجموعه نمونه ها به صورت هاي دلخواه است. 9 سازگاري فرايندهاي يادگيري الهام باوفا آنتروپي مجموعه از توابع توابع حقيقي N s.t. N 10 ادامه... عدد بردار به طول l find :كوچكترين عددي كه شرايط فوق را تامين كند سازگاري فرايندهاي يادگيري for الهام باوفا آنتروپي مجموعه از توابع ...ادامه 11 توابع حقيقي سازگاري فرايندهاي يادگيري الهام باوفا آنتروپي مجموعه از توابع ...ادامه توابع حقيقي Random V.C. Entropy: V.C. Entropy: با توجه به توزيع نمونه ها 12 سازگاري فرايندهاي يادگيري الهام باوفا شروط همگرايي همگرايي دوطرفه شرط الزم و كافي جهت همگرايي يكنواخت دو طرفه: كفايت: تابع صعودي 13 ...ادامه الهام باوفا شروط همگرايي ...ادامه 14 همگرايي دوطرفه سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا شروط همگرايي ...ادامه همگرايي دوطرفه SUP 15 سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا شروط همگرايي ...ادامه 16 همگرايي دوطرفه ...ادامه الهام باوفا شروط همگرايي ...ادامه همگرايي دوطرفه شرط تكنيكي: 17 سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا شروط همگرايي همگرايي يك طرفه همگرايي يكطرفه if 18 سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا شروط همگرايي ...ادامه همگرايي يك طرفه s.t. شرط الزم و كافي جهت همگرايي يكنواخت يك طرفه 19 سازگاري فرايندهاي يادگيري الهام باوفا تئوري غير قابل رد كردن Theory of Nonfalsifiablity آيا همچنان مي توانيم سازگاري داشته باشيم؟ 20 سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا تئوري غير قابل رد كردن Theory of Nonfalsifiablity ادامه... Popper’s Theory: two models of reasoning (i) Deductive: which means moving from general to particular (ii) Inductive: which means moving from particular to general ادامه... الهام باوفا سازگاري فرايندهاي يادگيري 21 تئوري غير قابل رد كردن ...ادامه Theory of Nonfalsifiablity با توجه به تئوري پوپر: يك تئوري استقرايي بايد قابل رد شدن باشد! ( )Falsifiable حقايقي وجود داشته باشند كه در شرايط تئوري مورد نظر قرار داشته باشند اما نتوانند توسط آن تئوري توضيح داده شوند! زيرا چون تئوري بر اساس تعداد محدود داده هاي آزمايش ي درست شده پس حتما داراي نايقيني خواهد بود. 22 سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا تئوري غير قابل رد كردن Theory of Nonfalsifiablity غير قابل رد شدن خواهد شد ادامه... ERM Complete )Popper’s( Nonfalsifiablity Partial Nonfalsifiablity Potential Nonfalsifiablity الهام باوفا سازگاري فرايندهاي يادگيري 23 تئوري غير قابل رد كردن Complete Nonfalsifiablity توانمندي در خرد كردن مجموعه نمونه ها به هر صورت دلخواه است. 24 سازگاري فرايندهاي يادگيري الهام باوفا تئوري غير قابل رد كردن Partial Nonfalsifiablity For any given sequence of binary values الهام باوفا 25 تئوري غير قابل رد كردن Potential Nonfalsifiablity Q is Potentially Nonfalsifiable If exist two functions: s.t. ادامه... الهام باوفا 26 تئوري غير قابل رد كردن ...ادامه 27 Potential Nonfalsifiablity سازگاري فرايندهاي يادگيري الهام باوفا تئوري غير قابل رد كردن نتيجه مسئله حداقل كردن ريسك براي داده هاي آموزش ي )(ERM همواره سازگار نيست 28 سازگاري فرايندهاي يادگيري الهام باوفا نتايج 1 Sufficient condition for consistency of the ERM principle ادامه... الهام باوفا سازگاري فرايندهاي يادگيري 29 نتايج ادامه... 2 Sufficient condition for a fast rate of convergence 3 ERM principle consistent and simultaneously provides a fast rate of convergence independent of the probability measure necessary and sufficient conditions Consistency sufficient condition for a يادگيري fastفرايندهاي rate of convergence الهام باوفا سازگاري 30 ضميمه (تعاريف و بحث هاي آماري) مجموعه رخدادهاي پايه مدل آماري 31 تعريف كيفي از آزمايش نگاه ايده آل ...ادامه الهام باوفا ...ادامه ضميمه (تعاريف و بحث هاي آماري) Probability Measure مدل آماري 32 تعريف كمي از آزمايش نگاه ايده آل سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا ...ادامه ضميمه (تعاريف و بحث هاي آماري) Practical 33 سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا ...ادامه ضميمه (تعاريف و بحث هاي آماري) مسئله اصلي در: تئوري آمار تئوري احتماالت بدست آوردن تابع توزيع بدست آوردن Probability Measure دو مود اصلي در محاسبه Probability Measure 34 مود قوي مود ضعيف سازگاري فرايندهاي يادگيري ...ادامه الهام باوفا ...ادامه 35 ضميمه (تعاريف و بحث هاي آماري) در بررس ي شرايط سازگاري در مود ضعيف قرار داريم الهام باوفا باتشکر از توجه شما 36 سازگاري فرايندهاي يادگيري الهام باوفا آنتروپي مجموعه از توابع توابع جداكننده )(Indicator آنتروپي بي نهايت و كاهش قابليت تعميم 37 سازگاري فرايندهاي يادگيري بازگشت 2 بازگشت 1 الهام باوفا