Transcript مدلسازي تصميم گيري در انسان با استفاده از پيش بيني مبتني بر مدل
ادخ مان هب دشرا يسانشراک همان ناياپ کيرت کلاويب يکشزپ يسدنهم
رف ينايک ناوضر : هئارا هاوخ ديحوت رت کد ياق ا : امنهار داتسا 88 دادرخ 1
يريگ ميمصت رب يا همدقم
تايضرف و فادها
یفیک لدم هئارا و يريگ ميمصت يژولوکياسورن
دوجوم یزاسلدم تاعلاطم رب يرورم
MDP شور اب یفیک لدم يزاس هدايپ هوحن
يزاس هيبش جياتن
يلمع تاشيامز ا
يريگ هجيتن
تاداهنشيپ
2
.
دوش يم هتف گ جياتن يبايزرا و لامعا يارجا و باختنا ،تاحيجرت يريگ لکش دني ارف هب يريگ ميمصت
.
دسر ب ن ا هب شور نيرت هنيزه مک اب دياب هدنريگ ميمصت و دراد دوجو يفده يريگ ميمصترهرد
.
دنريگ يم راکب اه باختنا يزاس هنيهب يارب ار يتيوقت يريگداي دني ارف کي اهناسنا
3
و ن ا عوقو زا شيپ ،لئاسم ليلحت رد وا تيلباق ،دنکيم زيامتم نيياپ حطس تادوجوم رياس زا ار ناسنا هک يلئاسم زا .
تسا لامعا تدمدنلب نايز و دوس ساسا رب يريگ ميمصت 1
شیپریظن بسان رتلااب م لدم هئارا و اهن ا درکلمعو طابترا يگنوگچ و دنراد تلاخد ينيب شيپ رد هک يزکارم تخانش ح طس یلرتنک یاهمزیناکم شقن یور اما هدش ماجنا یرتشیب تاعلاطم یریگ میمصت یشزیگنا یاه هبنج یور -
2 دشاب راگزا .
دنرتمک تاعلاطم ،ینیب س يکيژولويب تيعقاو اب هک يروط قوفزکارم درکلمع يزاسلدم يارب بسانم شور داهنشيپ 3 لدم هاگدید زا م زیناکم نیا نتفرگ رظنرد هک دسر یم رظن هب یدعب تلااح تقوم یراد هگن رد لاعف هظفاح شقن هب هجوت اب .
دنک یم کمک یریگ میمصت رد ناسنا یاهراتفر رتهب فیصوت هب
4
4
ينايم زغم يحاون يخرب و يناشيپ يحاون يور ديکات
هدش رظن فرص هجوت و ينورد شاداپ اي ساسحا شقن زا
) درادن ناونع ندوب یلک اب یتافانم ( چيپرام فيلکت باختنا
5
يريگ ميمصت يژولوکياسورون
6
يتخانش ناراميب هعلاطم
يسانش ناور ياهتست ماجنا هب زاين تسين دامتعا لباق راميب زا لصاح تاعلاطا ، ADHD ،ينرفوزيش ،يگدرسفا ،مسيتا ...
و ساوسو يشيرپناور
7
) 1970 ( يلولس تبث
صاخ فيلکت ماجنا هب زاين دوش يم ماجنا نوميم يور لاومعم
8
) 1992 ( يرادربريوصت ياهشور
صاخ ياهفيلکت يحارط هب زاين اه هژوس ندوب مک يفاکان ي ياضف حوضو و ینورون تیلاعف نیب طابترا یزغم نوخ راشف
9
پورتسا تست گنيلياه تست نيسناکسيو تراک تست AX-CPT IGT يوناه جرب هتفاي ريخات خساپ فيلکت چيپرام
10
Frontal Cortex Lateral Ventral Orbital 11
12
OFC 13
14
15
16
17
دوجوم ياهلدم و تاعلاطم رب يرورم
18
) دصرد دون زا شيب ( يرادربريوصت تاعلاطم : يژولوکياسورون يقطنم طباور ،تابر يباي ريسم يارب فوکرام ياهشور : يعونصم شوه ) نيماپود ياهنورون يجورخ يوگلا ديلقت ( ينورون ياهلدم : يزاسلدم يدرکلمع ياهلدم هعلاطم يريگ ميمصت
19
) 1995 ( شناراکمه و کوه
) 2000 ( ايود
) 2002 ( ايود
) 2006 ( وتاواک و ونوراه
) 2007 ( شناراکمه و يشوج
20
) 1998 ( شناراکمه و زوسلاو
) 2004 ( ايپاسيپ
) 2005 ( شناراکمه و ن ا
) 2006 ( شناراکمه و چيوکناتسا
) 2007 ( يسلاب
) 2008 ( شناراکمه و اديشيا
21
22
23
24
25
لدم يزاس هدايپ شور
26
27
يريگ ميمصت يزاسلدم يارب ديدناک نيرت بسانم MDP
تلاح لمع تلاح لوحت لامتحا شاداپ تسايس شزرا عبات طيحم لدم
28
) TD ( ينامز لضافت يريگداي
V k
1
V t
(
s V
)
k
t E
R t
|
r t s t
1
s
V
k
t E
1
k
0
V
k k
r t s t
k
1 |
s t
s NewEstimate ←
OldEstimate + StepSiz [Target – OldEstimate]
V
(
s
) max
a E
k
0
k r t
k
1 |
s t
s
,
a t
a
29
P
(
a
)
e W
a
'
A
(
s t e W
,
a
) (
s t
/ ,
a
' ) /
r t
1
V
(
s t
1 )
V
(
s t
)
V
(
s t
)
V
(
s t
)
C
W
(
s t
,
a
)
W
(
s t
,
a
)
A
30
31
يلعف تلاح هدهاشم 1
زاجم لامعا مامت يازا هب لدم قيرط زا ن ا اب رظانتم شاداپ و يدعب تلاح ندرو ا تسدب 2
TD ياطخ و شزرا عباوت يزاس زورب 3
قفا رد دوجو م تلااح مامت هک ينامز ات قوف لحارم رارکت و نکمم يدعب تلاح کي هب يلعف تلاح زا يضرف تلاح رييغت 4 .
دنوش ناحتما ينيب شيپ
32
33
P
(
o
)
e W o ctrl
(
s t
,
o
) /
o
'
O e W o ctrl
(
s t
,
o
' ) /
r cum
t tot V o ctrl
(
s t
1 )
V o ctrl
(
s init
)
r cum
t i tot
1
i
1
r t init
i V o ctrl
(
s t in it
)
V o ctrl
(
s t in it
)
C
W o ctrl
(
s t in it
,
o
)
W o ctrl
(
s t in it
,
o
)
A
34
يعيبط باختنا و يکيتنژ قيرط زا
دنا هدرک تفايرد شاداپ هک يلامعا هتشر ليلحت
تلاح ياضف ليلحت
ينورد ياه شاداپ
نارگيد راتفر زا طابنتسا
35
36
يزاس هيبش جياتن
37
38
39
40
41
42
43
44
45
46
یلمع یاهشيامز ا
47
48
49
50
51
52
53
54
55
3000 2500 2000 1500 1000 500 0 0 Learning Only Learning with options Learning with options and prediction 10 20 30 Episodes 40 50 60 56
صاو خ ،یزاسلدم شور ،هدش هتفرگ رظن رد ینورون یاهتخاسریز رظن زا هدش هئارا لدم 1 د.
راد یرترب رگید یاهلدم هب تبسن یلمع تاشیامز ا ماجنا و ن ا رد هدش هداد ناشن و ینیبشیپ تی صاخ ود رثا ،هدش هتفرگ رظنرد فیلکت رد یناسنا راتفر هب ندش کیدزن یارب 2 .
تسا دراوم ریاس زا شیب بتارم هلسلس بوسح م شناراکمه و ادیشیا راک لیمکت دناوتیم لدم نیا ،تاشیامز ا تهابش لیل د هب 3 .
دوش
57
یزغم یحاون بیس ا رثا یسررب
هدنامزاسدوخ ياه تابر يحارط
دنملاس ای یرمیازل ا دارفا هب کمک ياه متسيس يحارط
کيفارت لرتنک يارب ن ا زا هدافتسا
يزاجم ياه طيحم رد اهناسنا راتفر يزاس هيبش يارب ن ا زا هدافتسا
58
دوجومرگيد ياه فيلکت نتفرگ رظنرد
) ینیب کیدزن لاثم ( لدم هليسوب فلتخم ياه يراميب رثا يسررب
يريگ ميمصت يور يهجوت و يساسحا تارثا ندرک ظاحل
ازجا کت کت لدم دوبهب
یزغم یحاون رياس شقن
يزاف شور و يتيوقت يريگداي بيکرت اي هتسويپ يتيوقت يريگداي ياهشور زا هدافتسا
تاشيامز ا رتهب يحارط
هنيهبريسم نتفاي رد يطيحم مئلاع و اه هناشن شقن
59
امش هجوت زا رکشت اب
60
61
62
63
64
65
66