Transcript اهميت تلفيق اطلاعات سنسوري

‫سمينار درس سيستمهاي عصبي عضالني‬
‫تلفيق اطالعات سنسوري‪ :‬مکانيسم و مدلها‬
‫ارائه‪ :‬فرشته لگزي‬
‫بهار ‪1389‬‬
‫فهرست مطالب‬
‫•‬
‫•‬
‫•‬
‫•‬
‫اهميت تلفيق اطالعات سنسوري‬
‫سنسورهاي تخمين زننده متغيرهاي حرکتي در انسان‬
‫تلفيق اطالعات سنسوري در مغز‬
‫مدلهاي تلفيق‬
‫• پايان نامه کارشناس ي ارشد‬
‫‪2‬‬
‫اهميت تلفيق اطالعات سنسوري‬
‫‪3‬‬
‫مقابله با نويز و عوامل عدم قطعيت‬
‫تعدد سنسورها‬
‫)‪F(X‬‬
‫‪X‬‬
‫‪4‬‬
‫)‪F(X‬‬
‫‪X‬‬
‫‪ -1‬استفاده از داده هاي چند سنسور يکسان‪ ،‬از لحاظ آماري باعث‬
‫کاهش خطا مي شود‪.‬‬
‫مقابله با نويز و عوامل عدم قطعيت‪ -‬ادامه‬
‫‪5‬‬
‫غلبه بر محدوديتهاي هر سنسور‬
‫تنوع سنسورها‬
‫‪ -2‬استفاده از چندين منبع اطالعاتي مختلف باعث کاملتر شدن‬
‫اطالعات مي شود و در نتيجه امکان تصميم گيري‬
‫بهتر و سريعتري را فراهم مي کند‪.‬‬
‫‪6‬‬
‫غلبه بر محدوديتهاي هر سنسور‪ -‬ادامه‬
‫‪7‬‬
‫غلبه بر محدوديتهاي هر سنسور‪ -‬ادامه‬
‫‪Position‬‬
‫|)‪|H(jw‬‬
‫‪8‬‬
‫‪w‬‬
‫|)‪|H(jw‬‬
‫‪w‬‬
‫مقاومت در برابر از کار افتادن هر سنسور‬
‫تعدد و تنوع‬
‫سنسورها‬
‫از کار افتادن سيستم‬
‫‪9‬‬
‫افزايش ‪robustness‬‬
‫سيستم‬
‫‪ -3‬استفاده از داده هاي چندين سنسور‪ ،‬باعث افزايش‬
‫‪ robustness‬سيستم مي شود‪.‬‬
‫صرفه جويي‬
‫استفاده از چند‬
‫سنسور ارزان‬
‫‪ -4‬تلفيق اطالعات سنسوري مي تواند از لحاظ اقتصادي‬
‫نيز به صرفه تر باشد‪.‬‬
‫‪10‬‬
‫اهميت تلفيق اطالعات سنسوري در مغز انسان‬
‫خروجي‬
‫سيستم عضالني اسکلتي‬
‫کنترل کننده‬
‫(حرکت فرد)‬
‫سيستم اندازه گيري‬
‫محدوديت اندازه‬
‫گيري←تنوع سنسورها‬
‫‪11‬‬
‫سيستم تلفيق اطالعات‬
‫خطاي اندازه‬
‫گيري←تعدد‬
‫سنسورها‬
‫ورودي‬
‫سنسورهاي تخمين زننده متغيرهاي‬
‫حرکتي در انسان‬
‫‪12‬‬
‫سنسور بينايي‬
‫‪13‬‬
‫سنسور بينايي‬
‫‪14‬‬
‫سنسورهاي تعادلي‬
‫‪15‬‬
‫سلولهاي مويي‬
‫‪16‬‬
‫سنسورهاي تعادلي‬
‫کانالهاي نيم دايره اي‬
‫‪17‬‬
‫اتوليت ها‬
‫سنسورهاي حس عمقي‬
Golgy Tendon
Muscle Spindle
18
‫تلفيق اطالعات سنسوري در مغز‬
‫‪19‬‬
‫نحوه کد شدن اطالعات سنسوري‬
‫‪Frequency Code‬‬
‫کد کردن‬
‫شدت تحريک‬
‫‪Population Code‬‬
‫‪20‬‬
‫تلفيق اطالعات سنسوري در مغز‬
‫ديدگاه کالسيک‪:‬‬
‫‪21‬‬
‫اتصاالت فيدبک و ارتباطات بين سنسوري‬
‫ديدگاه نوين‪:‬‬
‫‪Macaluso et al,‬‬
‫‪2000, 2006‬‬
‫حس شماره ‪2‬‬
‫‪22‬‬
‫ناحيه مالتي سنسوري‬
‫حس شماره ‪1‬‬
‫يافته هاي تجربي در مورد تلفيق اطالعات‬
SC(Superior Colliculus)‫در‬
‫ در ابتدا‬SC ‫نرونهاي‬
Unisensory
Visual RF
Auditory RF
Multisensory
Neuron
‫هستند و با تعليم فرد‬
Multisensory
.‫مي شوند‬
23
‫يافته هاي تجربي در مورد تلفيق اطالعات در‬
‫)‪SC(Superior Colliculus‬‬
‫‪‬‬
‫اگر هر دو محرک در درون ناحيه همپوشاني ميدان گيرنده ‪SC‬باشند‪ ،‬تعداد‬
‫ايمپالسهايي که در حالت مالتي سنسوري توسط يک نرون ‪ SC‬توليد مي شود‪،‬‬
‫بيشتر از حالتي است که هر نوع سنسور به تنهايي يک نرون ‪ SC‬را تحريک کند‪ .‬به‬
‫اين پديده ‪ Multisensory Enhancement‬گفته مي شود‪.‬‬
‫‪ ‬اگر يک محرک در داخل ناحيه همپوشاني ميدان گيرنده ‪ SC‬و ديگري در خارج آن‬
‫باشد‪ ،‬پاسخ نرون ‪ SC‬به محرکي که در درون ناحيه همپوشاني قرار دارد‪ ،‬به طور‬
‫قابل توجهي کاهش مي يابد‪ .‬به اين پديده ‪Multisensory Depression‬‬
‫گفته مي شود‪.‬‬
‫‪24‬‬
‫يافته هاي تجربي در مورد تلفيق اطالعات در‬
‫)‪SC(Superior Colliculus‬‬
‫‪V‬‬
‫تلفيق اطالعات در ‪ SC‬به‬
‫شدت محرکها وابسته است‬
‫و به روش غيرخطي انجام‬
‫مي شود‪.‬‬
‫‪MN‬‬
‫‪MN‬‬
‫‪A‬‬
‫‪V+A‬‬
‫?‬
‫‪Xvis‬‬
‫‪Xaud‬‬
‫‪Xvis‬‬
‫‪MN‬‬
‫‪Xaud‬‬
‫‪25‬‬
‫ميدانهاي گيرنده در نورونهاي مالتي سنسوري‬
Proprioceptive
RF
Multisensory
Neuron
Visual RF
26
‫ثبت نوروفيزيولوژيکي (تلفيق بينايي‪ -‬حس عمقي)‬
‫‪27‬‬
‫ثبت نوروفيزيولوژيکي‪ -‬ادامه‬
‫‪28‬‬
‫نتايج ثبت نوروفيزيولوژيکي‬
‫‪ -1‬هنگاميکه محرک بينايي در مجاورت دست باشد‪ ،‬نرخ فعاليت نورون مالتي‬
‫سنسوري بيشتر است‪.‬‬
‫‪ -2‬اطالعات بينايي و حس عمقي هر دو در ميزان فعاليت نورون اثرگذار‬
‫هستند‪.‬‬
‫‪ -3‬برخي از نورونها نسبت به اطالعات بينايي تحريک پذيرتر هستند در حاليکه‬
‫برخي ديگر با اطالعات حس عمقي موقعيت دست بيشتر تحت تاثير قرار مي‬
‫‪29‬گيرند‪.‬‬
‫مدلهاي تلفيق‬
‫‪30‬‬
‫تلفيق اطالعات سنسوري‬
‫روشهاي مورد استفاده در سيستمهاي مهندس ي‬
‫• بيزين‬
‫•‬
‫•‬
‫•‬
‫•‬
‫•‬
‫‪31‬‬
‫کاملن فيلتر‬
‫بيزين‬
‫ماکزيمم شباهت‬
‫شبکه هاي عصبي‬
‫سيستمهاي فازي‬
‫روش بيزين‬
‫• ‪Van Beers, 1999, 2002‬‬
‫در مطالعات رفتاري‪ ،‬تلفيق به‬
‫روش نزديک به بيزين انجام‬
‫ميشود‪.‬‬
‫‪32‬‬
33
‫ّ‬
‫روش بيزين علي‬
‫• ‪Kording, 2007‬‬
‫‪34‬‬
‫روش کد جمعيت‬
Deneve, 1999, 2001, 2004 •
xa  xr  xe
35
‫مدل )‪Sober and Sabes(2003‬‬
‫• اين مطالعه نشان مي دهد که سيگنالهاي سنسوري بسته به نحوه‬
‫استفاده شان به نحو متفاوتي با يکديگر تلفيق مي شوند‪.‬‬
‫‪36‬‬
‫آزمايشها‬
‫‪37‬‬
38
‫مدل )‪Sober and Sabes(2003‬‬
‫الگوي خطا‬
‫(بدست آمده توسط آزمايش)‬
‫الگوي خطا‬
‫(شبيه سازي شده توسط مدل)‬
‫ضرايب مدل‬
‫‪39‬‬
‫نتايج مدل ‪Sober & Sabes‬‬
‫• در اين آزمايشها مقادير متوسط پارامترهاي وزن به صورت زير بدست‬
‫آمدند‪:‬‬
‫• تخمين موقعيت دست براي برنامه ريزي بردار جابجايي‬
‫بيشتر بر ورودي بينايي تکيه دارد در حاليکه تخمين‬
‫مورد استفاده براي محاسبه فرمانهاي مفاصل بيشتر به سيگنالهاي‬
‫‪ Proprioceptive40‬وابسته است‪.‬‬
‫پايان نامه کارشناس ي ارشد‬
‫‪41‬‬
‫اهداف پايان نامه‬
‫‪ . 1‬بررس ي رابطه کيفي عدم قطعيت تخمين موقعيت دست‪ ،‬با تغيير عدم قطعيت‬
‫اطالعات بينايي از طريق تغيير صحت آن‪.‬‬
‫‪ . 2‬بررس ي اثر توجه به هر حس در حضور عوامل عدم قطعيت در تلفيق اطالعات‪.‬‬
‫‪ .3‬طراحي آزمايشهايي براي تحقق دو هدف فوق‪.‬‬
‫‪ . 4‬ارائه مدلي براي تلفيق اطالعات سنسوري بينايي و حس عمقي‪.‬‬
‫‪42‬‬
‫رويکردها در طراحي آزمايش‬
‫• معيارهاي مورد توجه در بررس ي رفتار افراد در آزمايشها‪ ،‬باياس و دقت‬
‫تخمين (پراکندگي داده ها) است‪.‬‬
‫• بررس ي نحوه تلفيق اطالعات حس بينايي و حس عمقي با تغيير عدم‬
‫قطعيتهاي هر حس با تغيير صحت تخمين حس بينايي از موقعيت دست‬
‫انجام مي شود‪.‬‬
‫• براي جهت دهي توجه افراد به يکي از حسها در تستها‪ ،‬در بخش اول‬
‫آزمايشها‪ ،‬افراد به دو گروه دسته بندي شده اند‪ :‬دسته اي که حس‬
‫عمقي آنها براي تخمين موقعيت دست‪ ،‬تعليم مي بيند و دسته اي که‬
‫‪43‬تعليم نمي بينند‪.‬‬
‫طراحي آزمايشها‬
‫‪ Set-up‬آزمايشگاهي‬
‫‪44‬‬
‫طراحي آزمايشها‬
‫• آشنايي با ‪ Set-up‬آزمايشگاهي‬
‫ گروهي که حس عمقي آنها تعليم نمي بيند (‪ 11‬نفر)‪.‬‬‫‪ -‬گروهي که حس عمقي آنها تعليم مي بيند (‪ 9‬نفر)‪.‬‬
‫• تست حس عمقي به تنهايي‬
‫• تست حس عمقي و بينايي به همراه يکديگر‬
‫‪45‬‬
‫نتايج آزمايشها‬
‫صفحهره گذاري خانه هاي صفحه‬
‫شماره گذاري خانه هاي شما‬
‫شکل ِِ رسم‬
‫تعيين موقعيت گوشه هاي ِ‬
‫شده نسبت به گوشه هاي شکل‬
‫‪46‬‬
‫نتايج آزمايش حس عمقي به تنهايي‬
Estimation on X direction
probability
0.4
0.3
0.2
0.1
0
-6
-5
-4
-3
-2
-1
0
1
neighbourhood
Estimation on Y direction
2
3
4
probability
0.4
0.3
0.2
0.1
0
-6
-4
-2
0
neighbourhood
2
4
6
47
‫نتايج آزمايش حس عمقي و بينايي‬
‫(کس ي که تعليم يافته است)‬
‫‪48‬‬
‫نتايج آزمايش حس عمقي و بينايي‬
‫(کس ي که تعليم نيافته است)‬
‫‪49‬‬
‫بررس ي اثر شيفت در دو گروه‬
Visual
feedback
:‫تعريف‬
Proprioceptive
location
S
1 n
2
(
x

mod
e
)

i
n i 1
50
‫مقايسه آماري دو گروه‬
0.35
trained prop(pop1)-mode distrb
pop1-Gaussian curve fitting
untrained prop(pop2)-mode distrb
pop2-Gaussian curve fitting
0.3
probability
0.25
0.2
0.15
0.1
0.05
0
-4
-3
-2
-1
0
1
neighbourhood
2
3
4
5
51
‫مقايسه آماري دو گروه‬
‫تعريف‪:‬‬
‫‪1 n‬‬
‫‪2‬‬
‫(‬
‫‪x‬‬
‫‪‬‬
‫‪mod‬‬
‫‪e‬‬
‫)‬
‫‪‬‬
‫‪i‬‬
‫‪n i 1‬‬
‫فرضيه صفر و متقابل‪:‬‬
‫‪1  n1  1  4  2  9  1  71‬‬
‫‪2  n2  1  4  2 11 1  87‬‬
‫‪f 0.01 (60,60)  0.5435‬‬
‫‪52‬‬
‫‪F  0.1624‬‬
‫آماره آزمون‪:‬‬
‫‪S‬‬
‫‪H 0 : S12  S 22‬‬
‫‪2‬‬
‫‪2‬‬
‫‪H1 : S  S‬‬
‫‪2‬‬
‫‪1‬‬
‫‪S12‬‬
‫‪F 2‬‬
‫‪S2‬‬
‫رد فرضيه صفر‪F  f 0.01 (1 , 2 ) :‬‬
‫جمع بندي‬
‫• توجه به هر حس باعث تکيه بيشتر بر آن حس در تخمين موقعيت دست مي شود‪.‬‬
‫• در هر دو گروه با افزايش عدم قطعيت موقعيت فيدبک بينايي دست‪ ،‬عدم قطعيت‬
‫در تخمين موقعيت دست افزايش مي يابد‪.‬‬
‫• مدل مبتني بر کد جمعيت با اتصاالت بازگشتي از ناحيه مالتي سنسوري به نواحي‬
‫تک سنسوري‪ ،‬و با اثرات مدوالسيون بين نواحي تک سنسوري مي تواند نتايجي‬
‫نزديک به نتايج آزمايش توليد کند‪.‬‬
‫‪53‬‬
‫مراجع‬
• Deneve, S., Latham, P. E., and Pouget, A. (1999). Reading
population codes: a neural implementation of ideal
observers. Nature Neuroscience, 2(8):740-745.
• Deneve, S., and Pouget, A. (2004). Bayesian multisensory
integration and cross-modal spatial links. Journal of
Physiology Paris, 98:249-258.
• Deneve, S., Latham, P. E., and Pouget, A. (2001). Efficient
computation and cue integration with noisy population codes.
Nature Neuroscience, 4(8):826-831.
• Sober, S.J. & Sobes, P.N. (2003). Multisensory integration
during motor planning. Journal of Neuroscience, 23:69826992.
54
• Kording, K. P., Beierholm, U., Ma, W. J., Quartz, S.,
Tenenbaum, J. B. and Shams, L. (2007). Causal inference in
multisensory perception. Plos One, 9:1-10.
• Van Beers, R. J., Sitting, A. C. and Van der Gon, J. (1999a).
Localization of a seen finger is based exclusively on
proprioception and on vision of the finger. Exp Brain Res,
125:43-49.
• Van Beers, R. J., Sitting, A. C. and Van der Gon, J. (1999b).
Integration of proprioceptive and visual position-information:
An experimentally supported model. J Neurophysiol, 81:13551364.
• Van Beers, R. J., and Wolpert, D. M. (2002). When feeling is
more important than seeing. Current Biology, 12:834-837.
55
‫با تشکر‬
‫‪56‬‬
‫مروري بر سوابق (ادامه)‬
‫• ‪Sober and Sabes, 2003, 2005‬‬
‫‪57‬‬
‫مدل پيشنهادي‬
‫نحوه کد کردن اطالعات موقعيت محرکهاي دو حس‬
‫‪1‬‬
‫‪0.9‬‬
‫حس بينايي‬
‫‪0.8‬‬
‫حس عمقي‬
‫‪0.7‬‬
‫‪0.5‬‬
‫‪0.4‬‬
‫‪0.3‬‬
‫‪0.2‬‬
‫‪0.1‬‬
‫‪10‬‬
‫‪58‬‬
‫‪8‬‬
‫‪6‬‬
‫‪4‬‬
‫‪-2‬‬
‫‪0‬‬
‫‪2‬‬
‫‪Stimulator Location‬‬
‫‪-4‬‬
‫‪-6‬‬
‫‪-8‬‬
‫‪0‬‬
‫‪-10‬‬
‫‪Neuron Activity‬‬
‫‪0.6‬‬
1-p
1-v
σ, µ
σ, µ
-
v
Visual
Encoder
stimulator
p
stimulator
Proprioceptive
Encoder59
‫روابط مدل‬
x  ~x 2
Wvis  exp[(
) ], vis  0.9
 vis
W prop

S prop  10,


S
 prop  1.2  0.1shift
t 0
S vis  10,



S  5  0.1shift
 vis
t0
t 0
t0
x  ~x 2
 exp[(
) ], prop  0.9
 prop
:‫اثر مدوالسيون‬
shift
adaptation
0.5  shift
60
‫ گروهي که بر حس بينايي توجه دارند‬:‫نتايج مدل‬
sh=0
sh=1
1
1
visual
proprioceptive
final estimate
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0
-10
-5
0
5
visual
proprioceptive
final estimate
10
0
-10
-5
sh=2
5
10
sh=3
1
1
visual
proprioceptive
final estimate
0.8
0.6
0.4
0.4
0.2
0.2
-5
0
5
visual
proprioceptive
final estimate
0.8
0.6
0
-10
0
10
0
-10
-5
0
5
10
61
‫ گروهي که بر حس عمقي توجه دارند‬:‫نتايج مدل‬
sh=0
sh=1
1
1
visual
proprioceptive
final estimate
0.8
0.8
0.6
0.6
0.4
0.4
0.2
0.2
0
-10
-5
0
5
visual
proprioceptive
final estimate
10
0
-10
-5
sh=2
5
10
sh=3
1
1
visual
proprioceptive
final estimate
0.8
0.6
0.4
0.4
0.2
0.2
-5
0
5
visual
proprioceptive
final estimate
0.8
0.6
0
-10
0
10
0
-10
62
-5
0
5
10
‫افرادي که بر حس عمقي توجه دارند‬
model estimation versus prop
2
1.5
1
0.5
0
-0.5
-1
-0.5
0
0.5
1
1.5
shift
2
2.5
3
3.5
63
‫افرادي که بر حس بينايي توجه دارند‬
1
model estimation versus vis
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1
-0.5
0
0.5
1
1.5
shift
2
2.5
3
3.5
64
‫مقايسه نتايج پراکندگي نسبي مدل با نتايج آزمايش‬
untrained group
1
0.9
0.9
0.8
0.8
0.7
0.7
relative scattering
relative scattering
trained group
1
0.6
0.5
0.4
0.6
0.5
0.4
0.3
0.3
0.2
0.2
0.1
0
0.1
0
0.5
1
1.5
shift
2
2.5
3
0
0
0.5
1
1.5
shift
2
2.5
3
Experiment
Model
65
‫موقعيت مدل با نتايج آزمايش‬
‫مقايسه نتايج تخمين‬
ِ
Untrained
group
Shift=0
Shift=1
Shift=2
Shift=3
Experiment
0
0
0
1
Model
0
0
0
0
66
)‫(ادامه‬
‫موقعيت مدل با نتايج آزمايش‬
‫مقايسه نتايج تخمين‬
ِ
Trained
group
Shift=0
Shift=1
Shift=2
Shift=3
Experiment
0
1
1
1
Model
0
1
1
1
67
‫پايان نامه‬
‫تخمين حس عمقي از طريق‬
‫‪Localization‬‬
‫شيفت در يک جهت‬
‫باياس بين سنسوري و‬
‫‪Kording et al, 2007‬‬
‫تخمين جداگانه موقعيت‬
‫محرکهاي بينايي و شنوايي‬
‫شيفت در دو جهت‬
‫افزايش عدم قطعيت با‬
‫افزايش شيفت بين منابع در هر دو کار ديده مي شود‪.‬‬
‫تابع احتمال موقعيت محرکها تابع احتمال موقعيت محرکها‬
‫نرمال است و از آن استفاده‬
‫يکنواخت است و از آن‬
‫شده است‪.‬‬
‫استفاده نشده است‪.‬‬
‫‪68‬‬
‫از مطالعات تصويربرداري در فقط بر اساس رفتار افراد مدل‬
‫ارائه شده است‪.‬‬
‫مغز الهام گرفته است‪.‬‬
‫پيشنهادها‬
‫•‬
‫•‬
‫•‬
‫•‬
‫تعريف يک پارامتر در مدل براي نشان دادن درجات مختلف عدم قطعيت در تعداد‬
‫منابع تحريک سنسوري و در نتيجه باال بردن قابليت مدل در شبيه سازي نتايج‬
‫تلفيق بيزين‪ ،‬در شرايطي که افراد مطمئن هستند تفاوتي بين موقعيت محرکها وجود‬
‫ندارد‪.‬‬
‫تغيير ضرايب فيدبک با تغيير مقادير شيفت بين موقعيت منابع تحريک سنسوري و‬
‫در نتيجه بيشتر کردن انعطاف پذيري مدل‪.‬‬
‫ايجاد رابطه ي مدوالسيون بين نواحي تک سنسوري از طريق روشهاي خودسازمانده‬
‫يا قانون دلتا‪.‬‬
‫استفاده از توابع دو بعدي نرمال در شرايط دو بعدي ‪ ،‬به منظور در نظر گرفتن‬
‫اطالعات مکاني در دو بعد به همراه يکديگر‪.‬‬
‫‪69‬‬
‫کاربرد نتايج تحقيق‬
‫• نزديک شدن به مدلي براي تلفيق اطالعات بر اساس مکانيسمهاي نوروني‪.‬‬
‫• پيش بيني عملکرد افراد در روبرو شدن با عدم قطعيت هنگام توجه به هر حس‪.‬‬
‫• کاربرد در روباتيک براي کنترل مسير بر اساس اطالعات موقعيت روبات و نيز‬
‫موقعيت ساير اهداف و موانع‪.‬‬
‫• کاربرد در معالجه بيماريهايي که در ارتباط با تلفيق اطالعات سنسوري است‪.‬‬
‫‪70‬‬