Instance Based Learning

هنومن هیاپ رب یریگدای

Instructor : Saeed Shiry

&

Mitchell Ch. 8

همدقم

.

هدافتسا دشاب هنوگره شور هدش اه اب هداد و هک هدننک مینکیم نیا یسررب دوب هدش نیا رب فیصوت لیلد هریخذ نیمه هریخذ .

یعس دناوتب ،میدرک هک یسررب مینک ادیپ نونکات یعبات هک یئاهشور یشزومآ یاهلاثم رد زا ار هب .

اهلاثم دتفایم .

دوشیم طقف یگداسب قیوعت هدیمان هب مه IBL دیدج یریگدای لاثم lazy ای هدهاشم لبنت شور ات شور رد میمعت یهاگ یاه دوشیم هنومن هداد اب تبسن نآ نآ هطبار فده دیدج عبات یاهلاثم یارب هدهاشم رادقم کی اب و    هکلب هریخذ دمآ دهاوخن یاهلاثم تسدب اه نیرتکیدزن هداد ساسا یارب رب و صخشم نآ یمومع هدهاشم ماگنه هیضرف دیدج .

هنومن دش کی IBL ره شور یدنب رد هتسد دهاوخ ماجنا ،هدش

Instance-based Learning

Its very similar to a Desktop!!

یساسا توافت کی

عبات مامت زا یا هنومن یاضف هناگادج یگیاسمه بیرقت هب ،دیدج طقف هنومن بیرقت ره نیا .

یارب دنکیم IBL داجیا ار شور فده یور رب دناوتیمن زگره و هدوب .

لامعا دنک لباق لمع اه دیدج هنومن رت یلیخ هداس فده عباوت عبات طسوت هک تسا شیامن رثوم لباق لاح یماگنه نیع رد شور یلو نیا هدوب دربراک هدیچیپ .

دشاب یلحم  

Instance-based Learning

When To Consider IBL  Instances map to points   Less than 20 attributes per instance Lots of training data Advantages:  Training is very fast   Learn complex target functions Don't lose information Disadvantages:  Slow at query time  Easily fooled by irrelevant attributes

اه هصخشم

باختنا تهابش .

دنتسه ناوتیم : تسا یلصا هصخشم 3 یاراد شور : تهابش عبات مه هب هنوگچ کیدزن لاثم . ردقچ دشاب هنومن لکشم ؟دومن نایب ود هک رایسب ار رفن دنکیم دناوتیم 2 صخشم عبات یوم نیا گنر : هریخذ یارب اه هنومن باختنا یمومع ،ریخ . دنکیم هک ای دنوش دراد نییعت هریخذ یئاه تیمومع هنومن هنومن کی دوشیم ایآ یعس هکنیا .

دشاب متیروگلا صیخشت یلکشم .

راک نیا دنشاب رد رت دناوتیم ارنآ یدنب هتسد لاثم کی : هدننک هدهاشماب یدنب هک هتسد تسا عبات یعبات نیا   

تلاکشم

رد رد اریز تابساحم .

دشاب یمامت هنیزهرپ و رایسب دریذپ یمن دناوتیم تروص .

دندرگیم دیدج یلمع ماجنا هداد شزومآ یدنب یدنب هتسد هتسد هلحرم ماگنه سکدنیا یاه کینکت زا یدنب هتسد نامز شهاک .

یارب دوشیم ورنیا زا هدافتسا زا هباشم نیاربانب ،دشاب رگیدکی .

هتشاد زا یاهلاثم دوشیم رایسب یناوخزاب هدافتسا یگتسب اه تسا دوجوم یگژیو نکمم یارب یاه زا یخرب دنتسه IBL یاهشور یگژیو هب هباشم یمامت طقف فده اعقاو بلغا زا هظفاح عبات هک .

دنوش رد رگا یئاهلاثم رود   

Image Scene Classification

اهدربراک زا یلاثم

ریداقم زا هدافتسا اب signature ریوصت کی نآ ره یارب یاهلسکیپ هسیاقم یارب نآ زا و هدش هبساحم رد دوجوم ریواصت .

دوشیم اب یدورو هدافتسا ریوصت سیب اتید

اهدربراک زا یلاثم

 image size: 82x100 pixels  each pixel is associated with 36(=(1+8)x4) features  5NN is used for prediction  error rate is about 9.5%  5NN performs best among LVQ, CART, NN, … .

فلتخم یاهشور

     K-Nearest Neighbor (KNN)  Discrete Target Functions   Continuous Target Functions Distance Weighted Locally Weighted Regression Radial Basis Function Networks Case-Based Reasoning General Regression Neural Networks

K-Nearest Neighbor Learning (k-NN)

هنومن یریگدای هیاپرب شور نیرتلوادتم و نیرت هداس

k

-NN .

تسا یاضف رد یسدیلقا یطاقن لصاوف اه هنومن یانبمرب مامت اه هک دوشیم هیاسمه و ضرف دنتسه .

دنوشیم شور نیا رد یقیقح نییعت یدعب n درادناتسا . تسا هدش هتفرگ رظن رد یاه هیاسمه دادعت

k

زا دارم   

یسدیلقا هلصاف

شیامن یگژیو رادرب کی تروصب ار 

a

1 (

x

),

a

2 (

x

),...

a n

(

x

)  هاوخلد لاثم کی رگا : میهد  : دوشیم فیرعت ریز تروصب x j و x i لاثم ود نیب هلصاف 

d

(

x i

,

x j

) 

r n

  1 (

a r

(

x i

) 

a r

(

x j

)) 2

هتسسگ فده عبات یارب k-NN متیروگلا

f

: 

n



V

, where

V

is the finite set {

v

1 ,...

v s

} : تروصب تسا ریز هتسسگ فده تروصب

k

عبات کی -NN یارب متیروگلا یریگدای متیروگلا

.

دیهد

.

دینک هفاضا شیامن

x 1 training_examples … x k

اب ارنآ هب تسیل هب ار

یشزومآ

:

یدنب لاثم هتسد ره  متیروگلا

training_examples : x q

زا یسررب یئاه هنومن دروم نیرت هنومن کیدزن یارب 

.

دینادرگرب و هدومن هبساحم ار ریز رادقم  

f

ˆ (

x q

)  argmax v  V

i k

  1  (

v

,

f

(

x i

)) where  (a, b)  1 if

a



b

 0 otherwise

+

لاثم

هب رادقم هنومن نیرتکیدزن نیرتلوادتم k رادقم رتگرزب 1-NN متیروگلا ریداقم .

دش یارب دهاوخ .

دومن باختنا دوش باختنا دهاوخ کیدزن k=1 باختنا هیاسمه رگا ار

xq

k نیب 

+ + -

.

دوب دهاوخ

+

یفنم 5-NN یارب و تبثم 1-NN تلاح رد

xq

لاثم نیا رد

هیضرف یاضف

k-NN اه متیروگلا نیا دش اب ره ،دنکیمن کی هک دنهاوخ داد داجیا یارب یدنب یصخشم متیروگلا ناشن اه هتسد یهجودنچ نآ یمومع طسوت طسوت هدش زا هیضرف اقلا میمصت یبیکرت هک ار یطاقن زگره حطس متیروگلا نیا نکمم تروصب زا یا تسا ار یدعب هعومجم هچرگا یهجو . دیامنیم ود دوجو یاضف دنچ صخشم یهجودنچ .

ریاس طسوت طسوت دنوشیم هدش هک هدناوخ هتفرگ دوب رظنرد دنهاوخ ینمض یطاقن . دش هیضرف یهجودنچ دنهاوخ Voronoi diagram یاضف تیهام ؟تسیچ جراخ یدنب رادومن عون طاقن هتسد نیا   

Voronoi diagram

nearest neighbor q i 2 لاثم 1 لاثم query point q f

ارقتسا سایاب

رد ریز تروصب ناوتیم ار k-NN متیروگلا ارقتسا : تفرگ سایاب رظن  یرگید یاه هنومن یدنب دنراد هتسد رارق نآ هباشم هنومن یکیدزن رد کی هک یدنب دوب هتسد دهاوخ

هتسویپ فده عبات یارب k-NN متیروگلا

هتسویپ رادقم فده نیرتلوادتم هبساحم عباوت هیاسمه یارب باختنا لاثم یگداسب یاجب k دناوتیم تلاح نیگنایم نیا رادقم ار رد k-NN متیروگلا .

دومن یگیاسمه هدافتسا رد زین دوجوم .

دوشیم : دوشیم هدافتسا ریز هطبار زا متیروگلا رخآ طخ رد هجیتن رد  

f

ˆ (

x q

) 

i k

  1

f

(

x i

)

k

هتسویپ فده عبات یارب k-NN

1-nearest neighbor 3-nearest neighbor

one two three

لاثم

four seven five Eight ?

six

قبط اه یشاقن نیا زا یخرب هب یشاقن هب قلعتم دعب لودج ؟د .

دنتسه Mondrian مان یشاقن ایآ هک دینک صخشم راد قلعت یو هب زین متشه

Training data

Number Lines Line types Rectangles Colours Mondrian? 1

2

3 4

5

6 4 5 5 5 6

7

6 7

Test instance

1 2 2 1 1 1 1 10 8 7 8 10 8 14 4 5 4 4 5 6 5

No No

Yes Yes

No

Yes

No

Number Lines Line types Rectangles Colours Mondrian? 8 7 2 9 4

یشزومآ یاه هداد ندرک هزیلامرن

زا تسا ترابع

a ´ r (x)

هب

a r (x)

یشزومآ هداد ندرک هزیلامرن هار کی

x t

' 

x t

 

t x t

x

r



mean of t

th

attributes



t



sta ndard deviation of t

th

attributes

Normalised training data

Number Lines Line types 1 0.632 -0.632 Rectangles Colours Mondrian? 0.327 -1.021

No 2

-1.581 1.581 -0.588 0.408

No

3 4

5

-0.474 -0.474 -0.474 1.581 -0.632 -0.632 6

7

0.632 1.739

Test instance

-0.632 -0.632 -1.046 -0.588 0.327 -0.588 2.157 -1.021 -1.021 0.408 1.837 0.408 Yes Yes

No

Yes

No

Number Lines 8 1.739 Line types 1.581 Rectangles Colours Mondrian? -0.131 -1.021

Distances of test instance from training data

Example Distance of test from example

1

2.517

Mondrian?

No 2

3.644

No

3 4 2.395

3.164

Yes Yes

5

6

7

3.472

3.808

3.490

No

Yes

No

Classification 1-NN 3-NN 5-NN 7-NN Yes Yes

No No

Distance-weighted k-NN

یگیاسمه و دوشیم لاثم k لامعا زا کی یسررب ره یارب دروم ینزو هنومن ات .

نتفرگ اه دراد هنومن رظن رد هلصاف سوکعم اب ار ساسا هطبار اه متیروگلا رب نزو هنومن نیا نیا هلصاف درکلمع .

دومن اب ناوتیم رتهب لاومعم

f

ˆ (

x q

)  argmax v  V

i k

  1

w i

 (

v

,

f

(

x i

)) where

w i

 1

d(x q , x i )

2 : هتسسگ تلاح رد  ˆ

f

(

x q

) 

i k

  1

w i f i k

  1

w i

(

x i

) wher e

w i

 1

d

(

x q

,

x i

) 2 هتسویپ تلاح رد  یمامت زا یدنب هیاسمه هتسد لمع هنومن ندش k یاج دنک هب ثعاب هک تشاد باختنا نیا دهاوخ اما .

دوجو مینک ناکما هدافتسا نیا یدنب نزو هتسد لامعا یارب .

اه دش تروص هنومن دهاوخ رد

k-NN متیروگلا دروم رد یتاکن

رد .

تسا یرثوم هتفر روطب راکب Distance-weighted k-NN یئارقتسا جاتنتسا یارب یفلتخم متیروگلا یلمع لئاسم هداد هک یدراوم رد و .

تساراک هدوب رایسب مواقم دشاب زیون هب دوجوم تبسن یدایز شور نیا یشزومآ  

The curse of dimensionality

نیا دروم دوشیم یدنب تسا میمصت .

هدافتسا هتسد تخرد دوش اه رما هدافتسا یگژیو رد یمامت طبترمان یاه زا هلصاف یگژیو لثم یئاهشور طبترم یاه فلاخ یگژیو رب زا هبساحم یتح هک رما طقف نیا ات .

یارب دراد دنریگ دشیم هکیئاجنا دوجو زا ناکما رارق یعس نآ هدافتسا رد هک زا هک هدافتسا دنوش دروم صخشم یگژیو 20 اب هنومن ره هک دینک تروصنیا دنتسه هباشم رد دنشاب یگژیو یفاک ودنیا رد یدنب هک هتسد یا هدش یارب یگژیو هریخذ یاه هلصافرایعم تروصنیارد .

دشاب هدننک .

دنشاب هارمگ هتشاد رایسب ضرف 2 طقف هنومن لاثم نانآ تسا یارب نایم نکمم هلصاف دناوتیم مه زا رایسب k-NN رد .

دوشیم هدیمان curse of dimensionality هلئسم نیا   

Cross-validation

طبترم یاه .

یاه یگژیو دنوشیم یگژیو رت یاربرتشیب روحم ینلاوط : تساه روحم طبترمان نزو یاه زا هدافتسا سایقم لکشم رییغت نیا هباشم لح رما هار نیا کی .

تسا یگژیو روحم و رتهاتوک طبترم cross-validation شور زا ناوتیم اه یگژیو نزو : نییعت دومن یارب هدافتسا .

دنوشیم باختنا یشزومآ یاه هداد ناونع هب اه هداد زا یا هعومجم  باختنا شهاک دنوش اهلاثم برض هدنامیقابرد روحم یدنب ره هتسد رد دیاب یاطخ هک هک یبیارض تسا ناونعب یوحنب z 1 , …,z n باختنا نیا .

ریداقم دندرگیم .

دبای .

دومن فذح یلکب ار یگژیو کی رثا z j =0 نداد رارق اب ناوتیم    

Indexing

دروخرب بترم نامز یارب ات اهلاثم یدنب Indexing زا هتسد K-NN شور هدافتسا دتفایم قیوعت هب رد هکیئاجنآ لاثم نآ اب یئاراک یریگمشچ روطب دناوتیم .

یشزومآ دهد یاهلاثم شیازفا ندرک ار متیروگلا زا نآ هریخذ رد یاه مه هک هب تسا هنومن ندرک کیدزن و هدش یاه سکدنیا هریخذ هرگ ای یارب تخرد شور کی کی حطس و هرگ نامه رد kd-tree شور رد اه هنومن مه هب کیدزن .

دنوشیم

هنومن یریگدای یاهیگژیو

دوریمن نیب دنک زا یشزومآ هدافتسا اه دنک هنومن لدم ار یاهلاثم هدیچیپ رد کیلبمس عباوت : ایازم دناوتیم دوجوم شیامن تاعلاطا زا دناوتیم    : بیاعم تسا مک یدنب هتسد ماجنا ماگنه متیروگلا هدزاب دنراد دشاب تسا هلصاف لکشم رایعم رد بسانم یفنم هلصاف ریثات عبات طبترمان هتشاد زاین یدایز رایسب هظفاح هب کی یاهیگژیو تسا نییعت نکمم      

همان تغل

یقیقح رادقم اب عبات کی بیرقت زا تسا ترابع : regression بیرقت زا لصاح یاطخ رادقم زا تسا ترابع : Residual عبات زا هدافتسا اب .

دنکیم هک یعبات نیعم ار زا تسا یشزومآ ترابع :Kernel Function یاهلاثم یاهنزو رادقم هلصاف   

Kernel عباوت

نزو رتکیدزن طاقن ات دنراد سوکعم هطبار هلصاف .

دنریگب اب لاومعم یرتشیب   K(d(x i ,xq))  1/d 2  e -d  1/(1+d)

K(d(x q ,x i )) = 1/ d(x q ,x i ) 2 K(d(x q ,x i )) = 1/(d 0 +d(x q ,x i )) 2

Kernel عباوت

K(d(x q ,x i )) = exp(-(d(x q ,x i )/  0 ) 2 )

Locally Weighted Regression

یحیرص تسدب xq بیرقت یسررب هک تسا دروم K-NN هنومن متیروگلا هدنریگرب رد رب یمیمعت یلحم هیحان LWR متیروگلا لوح f عبات .

زا دهدیم یاهلاثم ای و مه کیدزن .

یاهلاثم دوشیم زا ماجنا هدافتسا اب یلحم بیرقت نیا distance-weighted   یبصع دوشیم هکبش کی ای و ود هجرد ،یطخ عبات کی تسا نکمم عبات .

نیا دشاب : یراذگمان  لیلد روظنم نآ دوریم دنکیم هلصاف هدافتسا نتفرگ یسررب رظنرد راکب یقیقح رادقم اب دروم اب هنومن یشزومآ کیدزن لاثم ره یاهلاثم رثا زا :local :Weighted عبات کی بیرقت یارب :Regression   

Locally-weighted regression f4 Locally-weighted regression f2 f1 (simple regression) Locally-weighted regression f3 Training data Predicted value using simple regression Predicted value using locally weighted (piece-wise) regression

Locally Weighted Linear Regression

لاثم

f

ˆ ( یکیدزن

x

) 

w

0 رد  فده

w

1

a

1 عبات (

x

) بیرقت   یارب 

w n

یطخ : دنکیم

a n

(

x

عبات کی هدافتسا ) زا شور یسررب نیا دروم  کی یاهنزو رادقم هک هبساحم دندشیم یارب باختنا 4 لصف یروط رد هدافتسا اهنزو نآ دروم رد هک : ددرگ عبات تسا هباشم عبات یبصع نیا هکبش لقادح ریز یاطخ

E

( 

w

)  1 2

x

 

D

(

f

(

x

) 

f

ˆ (

x

)) 2  .

دشیم هدافتسا gradient descent شزومآ نوناق زا راکنیا یارب هک 

w i

 

x

 

D

(

f

(

x

) 

f

ˆ (

x

))

a i

(

x

) 

؟یلحم هطبار

شور رد هکیلاح بیرقت یارب رد تسا هطبار یلک کی بیرقت لابند هب رجیسورپ کی اتلد نوناق nearest neighbor .

میتسه یلحم اتلد نوناق یلک هطبار ؟میروآ زا هدافتسا تسدب ار اب ناوتیم رظن دروم هنوگچ : لاوس یلحم هطبار  

یلحم یاطخ زا هدافتسا

. هطبار دیامن ددجم قیبطت فیرعت یشزومآ ،هار یلحم نیرت هداس یاهلاثم اب هک دسریم هکیوحنب رظن هب تساطخ : داد ماجنا ناوتیم شور هس هب ار راکنیا  

E

1 (

x q

)  1 2

x



k

  (

NN f

(

x

) 

f

ˆ (

x

)) 2

E

2 (

x q

)

E

3 (

x q

)   1 1 2 

x



D

( 2

x



k

  (

f NN f

(

x

)  (

x

) 

f

ˆ (

x

)) 2

K

(

d

(

x q

,

x

))

f

ˆ (

x

)) 2

K

(

d

(

x q

,

x

)) یگیاسمه لاثم k زا هدافتسا -1 اب اهلاثم ینزو یمامت رادقم زا کی هدافتسا -2 صیصخت اهنآ هب 2 و 1 یاهشور زا یبیکرت -3

اهنزو رییغت نوناق

قوف یاهباختنا رد دریگیمن رظن رد ار هلصاف E1 تسا هنیزهرپ نآ هبساحم اما هدوب همه زا رتبلاج E2 تسا نیبانیب باختنا کی E3 اهنزو یریگدای یارب ار اتلد نوناق ناوتیم : تشون E3 ریز باختنا اب تروصب      

w i

 

x



k

 

K NN

(

d

(

x q

,

x

)) (

f

(

x

) 

f

ˆ (

x

))

a i

(

x

)

k رادقم باختنا

    ار اهسلاک ریاس زا دوب دهاوخ یطاقن ساسح یگیاسمه زیون کی هب تسا تبسن نکمم ،دشاب دشاب کچوک یلیخ k رگا گرزب .

یلیخ دریگب رب K رگا رد زین Large k:    less sensitive to noise (particularly class noise) better probability estimates for discrete classes larger training sets allow larger values of k Small k:   captures fine structure of space better may be necessary with small training sets Balance must be struck between large and small k As training set approaches infinity, and k grows large, kNN becomes Bayes optimal  