Transcript متناسب سازي مستقيم (1)

‫دانشگاه امير كبير‬
‫دانشكده مهندس ي كامپيوتر و فناوري اطالعات‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫ارائه دهنده‪ :‬الهام باوفای حقیقی‬
‫استاد درس‪ :‬آقای دکتر شيري‬
‫فهرست‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪2‬‬
‫مقدمه‬
‫تعميم و متناسب سازي‬
‫شبه جواب در مسايل معكوس‬
‫يادگيري از داده ها با روش معكوس‬
‫فضاي بازتوليد هسته هيلبرت‬
‫يادگيري از داده ها با روش معكوس و هسته‬
‫مزاياي بكارگيري هسته ها‬
‫جمع بندي‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫مقدمه‬
‫تبديل تابعي‬
‫مسئله معكوس‬
‫يادگيري بر اساس داده‬
‫‪3‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫تعميم و متناسب سازي‬
‫دو مسئله اصلي در يادگيري‬
‫• انتخاب مدل (فرضيه) مناسب‬
‫• بدست آوردن پارامترهاي مناسب‬
‫بيشترين برازش (‪)Over fitting‬‬
‫‪ ‬متناسبترين برازش (‪)Regularization‬‬
‫• روش مستقيم (بهترين برازش‬
‫• روش غير مستقيم‬
‫‪4‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫تصحيح)‬
‫الهام باوفا‬
‫متناسب سازي مستقيم (‪)1‬‬
‫‪Tikhonov Regularization‬‬
‫‪Ridge Regrssion‬‬
‫روش بيزي‬
‫داده ها‬
‫ساختار‬
‫پارامتر متناسب سازي‬
‫خطاي‬
‫آموزش ي‬
‫پايدار كننده (جريمه)‬
‫‪5‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫متناسب سازي مستقيم (‪)1‬‬
‫پايدار كننده (جريمه)‬
‫نرم كننده‬
‫جريمه‬
‫فركانسهاي باال‬
‫فيلتر فركانس باال‪:‬‬
‫نرم وزن دار‬
‫‪6‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫متناسب سازي مستقيم (‪)2‬‬
‫‪Tikhonov Regularization‬‬
‫‪Ridge Regrssion‬‬
‫روش بيزي‬
‫‪7‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫متناسب سازي مستقيم (‪)3‬‬
‫‪Tikhonov Regularization‬‬
‫‪Ridge Regrssion‬‬
‫روش بيزي‬
‫‪max‬‬
‫‪min‬‬
‫خطاي‬
‫آموزش ي‬
‫پايدار كننده‬
‫(جريمه)‬
‫‪8‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫متناسب سازي مستقيم‬
‫مشكالت‬
‫نقطه ضعف‪:‬‬
‫توابع متناسب ساز بايد يك ساختار يكنواخت و متقارن داشته‬
‫باشند‪.‬‬
‫اما‬
‫ وجود چند زير ساختار گسسته‬‫‪ -‬مقياس مناسب مدل (فرضيه)‬
‫مشكل اصلي‪:‬‬
‫مقدار پارامتر متناسب سازي‬
‫‪9‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫متناسب سازي غير مستقيم‬
‫اضافه كردن نويز به نمونه ها‬
‫اضافه كردن نويز به پارامتر‬
‫اتمام پروسه يادگيري پيش از همگرايي‬
‫داراي همان نقاط ضعف و‬
‫مشكالت متناسب سازي غير‬
‫مستقيم است‬
‫‪10‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫شبه جواب در مسايل معكوس‬
‫تعريف مسئله‬
‫‪Computer Tomography‬‬
‫‪The amount of absorption‬‬
‫‪11‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫شبه جواب در مسايل معكوس‬
‫خصوصيات راه حل‬
A( f )  g
g ( x) 

K ( x  y) f ( y)dy
Given g in Y, we are looking for f in X such that A( f ) = g.
• Existence : For each g in Y there is at
least one f in X such that A( f ) = g
• Uniqueness : For each g in Y there is at
most one f in X such that A( f ) = g
Well Posed
Condition
• Stability : f depends continuously on g
‫الهام باوفا‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
12
‫شبه جواب در مسايل معكوس‬
)1( ‫بدست آوردن شبه جواب‬
g ( x) 
 K ( x  y) f ( y)dy
K i , j  K ( xi  x j )
 K1,1 K1, 2  K1,n   f ( x0 ) 
 g ( x0 ) 
A
f
K

 g (gx 



K 2, 2  K 2,n  f ( x1 )
)
2
,
1
1


C


n
 
  


   

‫ا‬‫ بدليل‬
 Well Posed Condition
‫ايط‬
‫ر‬
‫ش‬
‫نشدن‬
‫ضا‬
‫ر‬
 g ( xn ) 
 K n ,1 K n , 2  K n ,n   f ( xn )
‫داريم‬
‫الهام باوفا‬
Ill Posed Condition
‫تعميم در يادگيري مبتني بر نمونه ها‬
13
‫شبه جواب در مسايل معكوس‬
‫بدست آوردن شبه جواب (‪)2‬‬
‫‪g  Af‬‬
‫تخمين حداقل مربعات خطا‬
‫‪f  Ag‬‬
‫‪14‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫شبه جواب در مسايل معكوس‬
‫حساسيت شبه جواب‬
‫بازاي مقادير بزرگ‬
‫داريم‬
‫شرايط مريض‬
‫متناسب كردن پاسخ‬
‫‪15‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫شبه جواب در مسايل معكوس‬
‫متناسب سازي جواب‬
‫‪16‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫يادگيري از داده ها با روش معكوس‬
‫تبديل مسئله يادگيري به يك مسئله معكوس‬
‫‪17‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫يادگيري از داده ها با روش معكوس‬
‫بررس ي شرايط مسئله معكوس جديد‬
‫تبديل فضا‬
‫‪18‬‬
‫فضاي بازتوليد هسته هيلبرت‬
‫)‪Reproducing Kernel Hilbert Space (RKHS‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫فضاي بازتوليد هسته هيلبرت‬
‫خصوصيات‬
‫‪RKHS‬‬
‫‪19‬‬
‫به صورت يكتا توسط يك كرنل شبه مثبت معين‬
‫متقارن تعريف مي شود‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫فضاي بازتوليد هسته هيلبرت‬
‫خصوصيت بازتوليد‬
‫‪20‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫فضاي بازتوليد هسته هيلبرت‬
‫برخي توابع‬
‫‪21‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫يادگيري از داده ها با روش معكوس و هسته‬
‫بيشترين برازش‬
‫‪22‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫يادگيري از داده ها با روش معكوس و هسته‬
‫متناسب ترين برازش‬
‫بايد كوچك انتخاب شود‬
‫به دليل وجود ضريب‬
‫‪23‬‬
‫احتمال منفرد بودن ماتريس‬
‫را كاهش مي دهد‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫مزاياي بكارگيري هسته ها‬
‫‪ -1‬تغيير فضا در ماشينهاي بردار پشتيبان‬
‫‪ -2‬اعمال جريمه براي فركانسهاي باال‬
‫نسخه آنالوگ‬
‫نسخه ديجيتال‬
‫(تئوري ‪)Mercer‬‬
‫‪ -3‬توابع ارزيابي پيوسته و سهولت تعريف ترم متناسب ساز‬
‫‪24‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫جمع بندي‬
‫يادگيري از داده‬
‫متناسبترين برازش‬
‫استفاده از روشهاي مسائل معكوس‬
‫استفاده از ‪ RKHS‬جهت تبديل فضا‬
‫پيوستگي و اعمال برخي جريمه ها‬
‫متناسب سازي‬
‫احتمال منفرد بودن ماتريس را كاهش مي دهد‬
‫‪25‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫باتشکر از توجه شما ‪‬‬
‫‪26‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫الهام باوفا‬
‫فضاي هيلبرت‬
‫فضاي خطي نرم دار‬
‫از طريق نرم مي توان همگرايي را نشان داد‬
‫دنباله}‪ {xk‬به ‪x‬‬
‫دنباله}‪{xk‬‬
‫همگرا است اگر‬
‫يك دنباله كوش ي است اگر‬
‫‪.‬‬
‫‪.‬‬
‫هر دنباله كوش ي به يك بردار همگرا شود‪ ،‬فضا كامل‬
‫فضاي كامل و داراي ضرب داخلي‪ ،‬فضاي هيلبرت‬
‫‪27‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫برگشت‬
‫الهام باوفا‬
‫يادآوري‬
‫بردار‬
‫نرمها‬
‫تابع‬
‫ضرب‬
‫داخلي‬
‫‪28‬‬
‫بردار‬
‫تابع‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫برگشت‬
‫الهام باوفا‬
‫تئوري ‪)1( Mercer‬‬
‫‪29‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫برگشت‬
‫الهام باوفا‬
‫تئوري ‪)2( Mercer‬‬
‫‪30‬‬
‫تعميم در يادگيري مبتني بر نمونه ها‬
‫برگشت‬
‫الهام باوفا‬