Transcript بخش درک گفتار

‫ارائه دهنده‪ :‬ویدا مهدی راده فر‬
‫استاد راهنما‪ :‬آقای دکتر توحید خواه‬
‫نیمسال اول ‪88-89‬‬
‫‪ o‬مقدمه‬
‫‪ o‬ساختار مدل ‪ :‬بخش تولید گفتار‬
‫بخش درک گفتار‬
‫‪ o‬مقایسه با مدل ‪DIVA‬‬
‫‪ o‬به دست آوردن اطالعات گفتار‪Babbling :‬‬
‫‪Imitation‬‬
‫‪ o‬نتیجه گیری‬
‫‪ ‬محدودیت عملکرد سیستم های بازشناس ی و تلفیق گفتار فعلی‬
‫‪ ‬عدم توجه به مراحل پردازش عصبی تولید و درک گفتار‬
‫‪ ‬هدف این مطالعه‪ :‬ارائه یک مدل عصبی پیاده سازی شده‬
‫کامپیوتری با استفاده از شبکه عصبی ‪ ،‬دارای قابلیت تقلید از‬
‫پردازش های تولید و درک گفتار انسان‬
8
 phonemic map - Phonetic map –
motor plan map - primary
motor map - articulation
‫‪ ‬برای سیالب تکرار شونده حالت ‪ phonemic‬باعث فعالیت یک‬
‫نرون در نقشه ‪ phonetic‬می شود‪.‬‬
‫‪ ‬فعال شدن حالت های حس ی ‪ auditory‬و‬
‫‪ somatosensory‬و حالت طرح حرکت(‪)motor plan‬‬
‫بواسطه نقشه ‪phonetic‬‬
‫‪ ‬برای سیالب غیر تکرار شونده‪ ،‬ابتدا طراحی حرکت و سپس‬
‫‪motor plan‬‬
‫‪Motor plan ‬‬
‫هماهنگی زمانی حرکت آرتیکوالتورها‬
‫‪Motor execution ‬‬
‫دریافتی‬
‫‪Primary motor map ‬‬
‫کنترل و تصحیح طرح حرکت بوسیله فیدبکهای‬
‫تشخیص واقعی‬
‫هر حرکت گفتار‬
‫‪ ‬فعال کردن واحدهای موتوری و حرکت آرتیکوالتور‬
‫ آیتم گفتارتولید شده با حالت‬somatosensory‫ و‬auditory ‫ مقایسه فیدبک‬
‫ آموزش دیده‬somatosensory ‫ و‬auditory
motor plan ‫ تصحیح‬
high-low, front-back, rounded-unrounded : v ‫ سه پارامتر‬
labial, apical, dorsal, exact closing position : c ‫ چهار پارامتر‬
motor plan ‫ نرون برای نقشه‬11 
Primary motor map ‫ نرون برای‬110 
auditory ‫ نرون برای نقشه‬11 
somatosensory ‫ نرون برای نقشه‬38 
‫ساختار مدل محاسباتی نورال بیس‬
 Auditory receptors –
auditory map phonetic map - phonemic map
Directions Into Velocities of Articulators
:‫شباهت ها‬
feedforward‫ و‬feedback ‫ مسیرهای کنترلی‬
SOM ‫ شبکه های‬
imitation ‫ و‬babbling ‫ روش آموزش‬
:‫تفاوتها‬
motor execution ‫ و‬motor planning ‫ ادغام‬
phonetic ‫ نقشه‬
‫ مدل تولید گفتار‬:DIVA 
‫‪ ‬اطالعات در نگاشت ها به صورت مقادیر وزنی اتصاالت نرون ها‬
‫است که در طول آموزش تنظیم می شوند‪.‬‬
‫دو مرحله آموزش‪:‬‬
‫‪Babbling ‬‬
‫‪Imitation ‬‬
‫‪ ‬بررس ی آیتم های گفتار بدون در نظر گرفتن زبان شناس ی آنها‬
‫‪ ‬تولید رندوم آیتم های گفتار‬
‫‪ ‬گوش دادن به آیتم ها از طریق فیدبک ‪auditiry‬‬
‫‪ ‬تنظیم وزن های بین نقشه های حس ی و ‪ motor plan‬بوسیله نقشه‬
‫‪phonetic‬‬
‫‪ ‬اطالعات مستقل از زبان‬
‫‪ ‬یادگیری رابطه حس ی‪ -‬حرکتی مجرای صوتی و کنترل عصبی آن یعنی رابطه بین‬
‫حالت های ‪ motor plan‬و حالت های ‪auditory‬و‬
‫‪somatosensory‬‬
‫‪ ‬شامل دو آموزش حالت های ‪ vocalic‬و ‪syllabic‬‬
‫‪ ‬مجموعه آموزش ی ‪ vocalic‬شامل ‪ 1076‬حالت‬
‫‪ ‬مجموعه آموزش ی ‪ syllabic‬شامل ‪ 279‬آیتم آموزش ی‬
‫‪ ‬حاالت حرکتی برای ‪ VC‬و ‪ CV‬بر اساس پارامترهای زیر تعیین می شود‪:.‬‬
‫‪ ‬دو پارامتر ‪vocalic‬‬
‫‪ ‬حرکات آرتیکوالتور‬
‫‪ ‬موقعیت بسته شدن در حروف بی صدا‬
‫‪ ‬استفاده از شبکه خود سامانده‬
‫‪ ‬تنظیم وزن ها بین نرون های الیه جانبی و نرون الیه مرکزی به‬
‫روش ‪Hebbian‬‬
 phonetic map (15*15 neurons)
‫‪ ‬تنظیم وزن های بین نقشه ‪ phonetic‬و ‪phonemic‬‬
‫‪ ‬اطالعات به دست آمده از ‪ imitation‬وابسته به زبان است‪.‬‬
‫‪ ‬مدل در طول آموزش یاد می گیرد که نرون هایی با ویژگی های ‪ phonemic‬متفاوت را به حالت‬
‫های حس ی متناسب آنها وصل کند‪.‬‬
‫‪ :Phone region ‬نرونی در این ناحیه قرار دارد که مقدار‬
‫وزنی اتصال آن با نرون متناظر در نقشه ‪ ، phonemic‬باالی ‪ 0.95‬باشد‪.‬‬
‫‪‬‬
‫پردازش آیتم آکوستیک خارجی‬
‫‪‬‬
‫تخمین ‪motor plan‬‬
‫‪Positions of all auditory patterns of vocalic training‬‬
‫‪ ‬آموزش ‪ 20‬مدل مختلف‬
‫‪ 20 ‬شنونده مجازی‬
‫‪ :Measured discrimination ‬تخمین فاصله نرونها در‬
‫نقشه ‪phonetic‬‬
‫‪ :Calculated discrimination ‬بر اساس احتمال شناسایی‬
‫با تشکراز توجه شما‬