Transcript موسسه آموزش عالی آبا

‫موضوع ‪:‬‬
‫پردازش زبانهای طبیعی‬
‫استاد راهنما ‪ :‬خانم مهندس خالدیان‬
‫ارائه دهندگان ‪:‬‬
‫مصطفی محمدی‬
‫مجید لبیکی‬
‫حمیدرضا پاکپور‬
‫‪1‬‬
‫خالصه مطالب ‪:‬‬
‫‪ NLP ‬و کاربردهای آن‬
‫‪ ‬تاریخچه ‪NLP‬‬
‫‪ ‬شرح برخی از کاربرد های مهم‬
‫‪ ‬تکنیک های پردازش زبان های طبیعی‬
‫‪ ‬تکنیک پنهان سازی تصادفی برای تشخیص صدا‬
‫و حرکات انسان‬
‫‪ ‬ارائه یک برنامه عملی‬
‫‪22‬‬
‫زبان طبيعي‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫زبان طبیعي زباني است که در تعامالت اجتماعي روز مره ما با‬
‫استفاده از آن مي نویسیم و صحبت مي کنیم‬
‫زبان هاي طبیعي مختلف و زیادي وجود دارند‬
‫ممکن است که فرم گفتاري و نوشتاري زبان ها متفاوت باشند و‬
‫همچنین از هم مستقل باشند‪.‬‬
‫‪ NLP‬این ادعا را دارد که با خودکار کردن پردازش زبان سیستم‬
‫هاي مفیدي بر پایه این توصیفات بوجود آورد‪.‬‬
‫‪33‬‬
‫پردازش زبان طبيعي‬
‫‪ ‬تعریف پردازش زبان طبیعی‬
‫‪ ‬محدودیت های پردازش زبان های طبیعی‬
‫‪ ‬پردازش زبانهای طبیعی آمارگرا‬
‫‪44‬‬
‫پردازش زبان طبيعي‬
‫‪ ‬هدف از پردازش زبان طبیعي این است که کامپیوترها‬
‫از زبان طبیعي به عنوان ورودي و خروجي استفاده‬
‫نمایند‪.‬‬
‫‪55‬‬
‫کاربرد هاي‪NLP‬‬
‫‪ ‬کاربرد های مهم پردازش زبانهای طبيعی‬
‫ تشخیص گفتار‪.‬‬‫ خالصه سازی متون‪.‬‬‫ ویرایش‪.‬‬‫ ترجمه ماشینی‪.‬‬‫ نویسه خوان نوری‪.‬‬‫ و‪...‬‬‫‪66‬‬
‫تاريخچه‬
‫‪‬‬
‫در سال ‪ ۱۹۵۷‬کتاب ساختارهای نحوی اثر نوام چامسکی زبانشناس‬
‫جوان آمریکایی که از آن پس به شناختهشدهترین چهر ٔه زبانشناسی نظری‬
‫تبدیل شد به چاپ رسید ‪.‬از آن پس پردازش زبان با حرکتهای تازهای‬
‫دنبال شد اما هرگز قادر به حل کلی مسئله نشد‪.‬‬
‫‪77‬‬
‫کاربرد هاي‪NLP‬‬
‫‪ ‬خالصه سازی متون‬
‫‪-‬‬
‫‪-‬‬
‫خالصه سازی یکی از زیرمجموعه مشکالت پیچیده پردازش زبان طبیعی‬
‫می باشد که در حال حاضر همچنان حل نشده است ‪.‬‬
‫خالصه سازی عبارت است از نمایش فشرده و دقیق متن ورودی به‬
‫نحوی که متن خروجی مفاهیم مهم متن ورودی را در برداشته باشد ‪.‬‬
‫‪88‬‬
‫کاربرد هاي‪NLP‬‬
‫‪ ‬مثالی از کاربرد خالصه سازی متون‬
‫‪-‬‬
‫یک سیستم خالصه سازی اتوماتیک اطالعاتی را به صورت مختصر و‬
‫مفید در اختیار کاربر می گذارد تا کاربر بتواند سریعتر به اطالعات خود‬
‫دسترسی پیدا کند ‪ .‬متور جستجوی گوگل تا حدودی این کار را انجام می‬
‫دهد‪.‬‬
‫‪99‬‬
‫تکنيک های پردازش زبان های طبيعی‬
‫‪‬‬
‫‪ NLP‬برای سنتز گفتار‬
‫‪‬‬
‫‪ NLP‬برای تشخیص گفتار‬
‫‪ ‬نویسه خوان نوری‬
‫‪10‬‬
‫تکنيک های پردازش زبان های طبيعی‬
‫‪‬‬
‫‪ NLP‬برای سنتز گفتار(‪: )TTS‬‬
‫‪ ‬نرمال سازی‬
‫‪11‬‬
‫تکنيک های پردازش زبان های طبيعی‬
: ‫ برای تشخیص گفتار‬NLP
POS(Part-Of-Speech-Tagging)
GTPC(Grapheme-To-Pheme)
WS(Word Stress)
12

(1
(2
(3
‫تکنيک های پردازش زبان های طبيعی‬
‫‪ ‬نویسه خوان نوری ‪:‬‬
‫‪(1‬‬
‫تکنیکی برای تبدیل متون تصویری و غیرقابل ویرایش و تشخیص توسط کامپیوتر می باشد ‪.‬‬
‫‪(2‬‬
‫در واقع این تکنیک تصاویر اسکن و غیرقابل ویرایش را به متن قابل ویرایش تبدیل می کند‪.‬‬
‫‪13‬‬
‫تکنيک های پردازش زبان های طبيعی‬
‫‪ ‬مزایا نویسه خوان نوری‪:‬‬
‫‪(1‬‬
‫افزایش چشمگیر سرعت دسترسی به اطالعات‪.‬‬
‫‪(2‬‬
‫کاهش فضای ذخیره سازی ‪.‬‬
‫‪14‬‬
‫تکنيک های پردازش زبان های طبيعی‬
‫‪ ‬کار برد ها نویسه خوان نوری‪:‬‬
‫‪(1‬‬
‫کنترل ترافیک ‪.‬‬
‫‪(2‬‬
‫فرم خوان ها ‪.‬‬
‫‪(3‬‬
‫تبدیل متن به صحبت ‪.‬‬
‫‪15‬‬
‫تکنيک پنهان سازی تصادفی برای تشخيص صدا ‪ :‬مدل مارکوف‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫مدل مارکف چیست ؟‬
‫چه کاربردی هایی در پردازش زبان های طبیعی دارد ؟‬
‫مدل مارکوف در بیوانفورماتیک‬
‫تشریح مدل مارکوف با یک مثال ساده‬
‫مدل مارکوف در تشخیص حرکات انسان و بررسی آن با دیگر مدلها‬
‫‪16‬‬
‫تکنيک پنهان سازی تصادفی برای تشخيص صدا ‪ :‬مدل مارکوف‬
‫‪‬‬
‫مدل مارکف چیست ؟‬
‫‪ ‬این مدل یکی از قدرتمندترین روش ها برای تشخیص‬
‫گفتار می باشد‪.‬‬
‫‪ ‬مدل پنهان مارکف یک مدل آماری است‪.‬‬
‫‪17‬‬
‫تکنيک پنهان سازی تصادفی برای تشخيص صدا ‪ :‬مدل مارکوف‬
‫‪‬‬
‫چه کاربردی هایی در پردازش زبان های طبیعی دارد ؟‬
‫‪‬‬
‫ماشین های ترجمه‬
‫تشخیص حرکات انسان‬
‫تشخیص گفتار‬
‫بیوانفورماتیک‬
‫و‪...‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪18‬‬
‫تکنيک پنهان سازی تصادفی برای تشخيص صدا ‪ :‬مدل مارکوف‬
‫‪‬‬
‫مدل مارکوف در بیوانفورماتیک ‪:‬‬
‫‪‬‬
‫دانش استفاده از علوم کامپیوتر و آمارواحتماالت در شاخه زیست شناسی‬
‫مولکولی است ‪.‬‬
‫مثل تشخیص توالی ‪ 24‬کروموزوم بدن انسان ‪.‬‬
‫‪‬‬
‫‪19‬‬
‫تکنيک پنهان سازی تصادفی برای تشخيص صدا ‪ :‬مدل مارکوف‬
‫‪‬‬
‫تشریح مدل مارکوف با یک مثال‬
‫‪20‬‬
‫تکنيک پنهان سازی تصادفی برای تشخيص حرکات انسان‬
‫‪‬‬
‫مدل مارکوف برای تشخیص حرکات انسان‬
‫‪‬‬
‫یعنی شناسایی روش هایی که بتوان برخی حرکات پنهان را آشار کرد ‪.‬‬
‫‪‬‬
‫)‪CRF ,HCRF,HMM(Hidden Markov Model‬‬
‫‪21‬‬
‫تکنيک پنهان سازی تصادفی برای تشخيص حرکات انسان‬
‫‪22‬‬
‫)‪NLP FOR NLP(Natural Language Programming‬‬
‫ارائه یک برنامه طراحی شده با دات نت برای تشخیص دست خط (شناسایی اعداد)‬
‫‪23‬‬
‫‪23‬‬
‫نتيجه گيری ‪:‬‬
‫‪ ‬شرح ‪NLP‬‬
‫‪ ‬کاربرد های مختلف در ‪NLP‬‬
‫‪ ‬بررسی برخی کاربرد های مهم و مقایسه انها‬
‫‪24‬‬
‫‪24‬‬
: ‫مراجع‬
1. Antoine J.Y., Caillaud B., Caelen J., "Automatic adaptiveunderstanding of spoken language by cooperation of
syntactic parsing and semantic priming", ICSLP'94,
Yokohama, Japan, 799:802, 1994.
2. Kumar, P. and Walia, E., (2006), “Cash Forecasting: An Application of Artificial Neural
Networks in Finance”, International Journal of Computer Science and Applications 3 (1): 6177.
3. Hidden Conditional Random Fields for Phone Recognition Yun-Hsuan Sung and Dan Jurafsky 2010
4. LIEBERMAN,H., AND LIU,H. Feasibility studies for programming in natural language.Kluwer Academic Publishers, 2005.
5. DIJKSTRA, E. On the foolishness of ”Natural Language Programming”. In Program Con-struction, International Summer School
(1979).
6.U. D. Reichel and H. R. Pfitzinger, “Text pre-processing for speech synthesis,” in Proceedings of the TC-STAR Workshop on
Speechto-Speech Translation, (Barcelona, Spain),
pp. 207–212, June 2006.
7. Hidden Conditional Random Fields for Gesture Recognition Sy Bor Wang Ariadna Quattoni Louis-Philippe Morency David
Demirdjian
Trevor Darrell , Computer Science and Artificial Intelligence Laboratory, MIT32 Vassar Street, Cambridge, MA 02139, USA 2009
8. W.Doran, N.Stokes, and J. D. J.Carthy, “A Comapring Lexical Chain-based
Summarization approches using an extractive evaluation,” in Global Word Net
Conference, 2004, pp. 112-117.
9. O. D Trier, A. K. Jain, and T. Taxt, “Feature extraction methods for character
recognition - Asurvey,” Pattern Recognition, vol. ٢۹, pp. .۱۹۹۶ ,۶۶٢-۶۴۱
25
25