Transcript ppt
حوسبة اللغة والترجمة اآللية الحوسبة العربية (تعريب الحاسبات( – 19 حسني املحتسب 1 حسني المحتسب بسم هللا الرحمن الرحيم الحوسبة العربية (تعريب الحاسبات( – 19 حوسبة اللغة والترجمة اآللية حسني املحتسب 2 حسني المحتسب قبل أن نبدأ :محاضرتي • جزء من آخر محاضرة قبل إجازة عيد األضحى • • 3 كيف تقدم محاضرة جيدة عناصر تقويم المحاضرات حسني المحتسب نشاط صفي – محاضرة 19 •افترض أن لدينا النص المشكل التالي س ُ ساللَّ ُهعَ ْنهُ سعَ ْن ُمؤْ ِمنن ُك ْربَ ِ قَالَ َر ُ تنم ْن ُك َر ِبالدُّ ْنيَانَفَّ َ وُلللَّ ِهصلىاللهعليهوسلم َم ْننَفَّ َ اآلخ َر ِة َو َم ْن علَى ُم ْع ِسرنيَ َّ تنم ْن ُك َر ِبيَ ْو ِم ْال ِقيَا َم ِة َو َم ْنيَ َّ س َراللَّ ُهعَلَ ْي ِه ِفيالدُّ ْنيَ َاو ِ ُك ْربَ ِ س َر َ اآلخ َرةِ َواللَّ ُه ِفيعَ ْونِ ْالعَ ْب ِد َما َكان َْالعَ ْبدُ ِفيعَ ْو ِنأ َ ِخي ِه َو ست َ َر ُهاللَّ ُه ِفيالدُّ ْنيَ َاو ِ ست َ َر ُم ْس ِلمن َ َ ط ِريقنإِلَ ْ س َّه ََلللَّ ُهلَ ُهبِ ِه َ سلَ َك َ ااجت َ َمعَقَ ْومن ِفيبَيْت ِنم ىال َجنَّ ِة َو َم ْ ط ِريقنيَ ْلت َ ِم ُ س ِفي ِه ِع ْلمن َ َم ْن َ س ِكينَةُ َو َ الر ْح سونَ ُهبَ ْينَ ُه ْمإُِلَّنَزَ لَتْعَلَ ْي ِه ُمال َّ ار ُ غ ِشيَتْ ُه ُم َّ ْنبُيُو ِتاللَّ ِهيَتْلُونَ ِكتَابَاللَّ ِه َويَت َدَ َ َمةُ َو َحفَّتْ ُه ُم ْال َمَلَئِ َكةُ َوذَ َك َر ُه ُماللَّ ُه ِفي َم ْن ِع ْندَ ُه َو َم ْنبَ َّ سبُهُ طأ َ ِب ِهعَ َملُ ُهلَ ْميُ ْس ِر ْع ِب ِهنَ َ 4 حسني المحتسب نشاط صفي – محاضرة 19 •وافترض أننا نريد أن نكتب برنامجا لتوقع موقع الفراغات وإعادة النص أعَله إلى نص مقروء بالشكل التالي: سو ُل َّ ِ ع ْن ُمؤْ ِم ٍن ُك ْربَةً ِم ْن قَا َل َر ُ س َ اَّلل صلى هللا عليه وسلم َم ْن نَفَّ َ علَى س َّ ب يَ ْو ِم ْال ِقيَا َم ِة َو َم ْن يَ َّ ع ْنهُ ُك ْربَةً ِم ْن ُك َر ِ ُك َر ِ س َر َ اَّللُ َ ب الدُّ ْنيَا نَفَّ َ اَّللُ فِي ست َ َرهُ َّ س َر َّ ُم ْع ِس ٍر يَ َّ علَ ْي ِه فِي الدُّ ْنيَا َو ِ اَّللُ َ ست َ َر ُم ْس ِل ًما َ اآلخ َرةِ َو َم ْن َ ع ْو ِن أ َ ِخي ِه َو َم ْن ع ْو ِن ْالعَ ْب ِد َما َك َ اآلخ َر ِة َو َّ الدُّ ْنيَا َو ِ ان ْالعَ ْبدُ ِفي َ اَّللُ ِفي َ اَّللُ لَهُ ِب ِه َ سلَ َك َ ط ِريقًا ِإلَى ْال َجنَّ ِة َو َما س َّه َل َّ ط ِريقًا يَ ْلت َ ِم ُ س فِي ِه ِع ْل ًما َ َ اب َّ ِ ت َّ ِ اجت َ َم َع قَ ْو ٌم فِي بَ ْي ٍ سونَهُ بَ ْينَ ُه ْم اَّلل يَتْلُ َ ت ِم ْن بُيُو ِ ْ ار ُ ون ِكت َ َ اَّلل َويَتَدَ َ ِإُلَّ نَزَ لَ ْ س ِكينَةُ َو َ الر ْح َمةُ َو َحفَّتْ ُه ُم ا ْل َمَلَ ِئ َكةُ َوذَ َك َر ُه ُم علَ ْي ِه ُم ال َّ غ ِشيَتْ ُه ُم َّ ت َ اَّللُ فِي َم ْن ِع ْندَهُ َو َم ْن بَ َّ سبُهُ َّ طأ َ ِب ِه َ ع َملُهُ لَ ْم يُ ْس ِر ْع ِب ِه نَ َ 5 حسني المحتسب نشاط صفي – محاضرة 19 • • أذكر واحدا من التطبيقات التي يمكن استخدام هذا البرنامج فيها ناقش طريقة التفكير في إيجاد خوارزمية لحل هذه المسألة 6 حسني المحتسب حوسبة اللغة والترجمة اآللية :المسار • • • • مصطلح حوسبة اللغة التطبيقات معالجة اللغات الطبيعية الترجمة اآللية 7 حسني المحتسب حوسبة اللغة -المصطلح • • • • اللسانيات الحسابية Computational Linguistics الحوسبة العربية Arabic Computing يدور المصطلح حول اُلستفادة من معالجة اللغة العربية بالحاسب اآللي معالجة اللغة العربية بالحاسب اآللي • Natural Arabic Processing 8 حسني المحتسب من تطبيقات معالجة اللغة العربية بالحاسب • • • • • • 9 نظم الحوسبة الذكية واجهات مستخدم باللغة الطبيعية لقواعد البيانات التعليم بمساعدة الحاسوب البحث في اإلنترنت واسترجاع البيانات الترجمة اآللية من العربية وإليها إجابة األسئلة باللغة الطبيعية حسني المحتسب من تطبيقات معالجة اللغة العربية بالحاسب • • • • برامج التدقيق اإلمَلئي برامج التدقيق النحوي برامج استرجاع جذر الكلمة نطق األصوات والتعرف عليها بواسطة الحاسوب • • • تحويل النص العربي المكتوب إلى منطوق تحويل النص العربي المسموع إلى مكتوب التعرف الضوئي على الحروف العربية المكتوبة Optical Character recognition 10 حسني المحتسب • معالجة اللغات الطبيعية فرع من الذكاء االصطناعي يعنى ببناء برامج لها إمكانية ”فهم“ لغة طبيعية ما للوصول لهدف محدد NLP عملية تحويل من تمثيل (النص المدخل) إلى آخر (تمثيل داخلي) 11 حسني المحتسب تكلم مع ألس:مثال باللغة اإلنجليزية http://www.pandorabots.com/pandora/talk?botid=f5d922d97e345aa1 &skin=custom_input حسني المحتسب 12 واجهات قواعد البيانات التتطبيقات تلخيص التقارير 13 حسني المحتسب قهم القصص الترجمة اآللية المدخالت تحليل القصد التحليل الصرفي تحليل كل كلمة إلى أجزائها تحليل التركيب تحويل الجملة (سالسل الكلمات) إلى تراكيب معينة تبين ترابط الكلمات ببعضها 14 تفسير ما قيل بما يقصد تحليل الداللة (المعنى) تحويل المدخالت إلى تمثيل داخلي يحتفظ بالمعنى حسني المحتسب تحليل الخطاب فهم وإحالة الروابط والضمائر بين الجمل خطوات معالجة اللغات الطبيعية • • • 15 الصرف ( :)Morphologyكيف تبنى الكلمات من مكونات أصغر؟ معرفة جذر الكلمة ووزنها والسوابق واللواحق .تكاتبا. التركيب ( :)Syntaxكيف ترتبط الكلمات ببعضها لتكون جملة صحيحة وما دور كل كلمة في التركيب؟ الدُللة ( :)Semanticsمعاني الكلمات وكيف تشارك هذه المعاني في معنى الجملة. حسني المحتسب خطوات معالجة اللغات الطبيعية • • القصد ( :)Pragmaticsكيفية استخدام الجمل في المواضع المختلفة وما المقصود من الجملة؟ الخطاب ( :)Discourseما تأثير الجمل السابقة مباشرة على فهم الجملة التالية؟ 16 حسني المحتسب •المعجم :بنك مفردات يضم كلمات اللغة وصفاتها اللغوية •هناك العديد من المعاجم اإللكترونية المجانية بلغات غير العربية •من أشهرها ووردنت WordNetوالتي هي قاعدة بيانات لمفردات اللغة اإلنجليزية •هل نبني معجما عربيا؟ 17 حسني المحتسب المدخالت تحليل القصد التحليل الصرفي تحليل كل كلمة إلى أجزائها تفسير ما قيل بما يقصد المعجم تحليل التركيب تحويل الجملة (سالسل الكلمات) إلى تراكيب معينة تبين ترابط الكلمات ببعضها 18 تحليل الداللة (المعنى) تحويل المدخالت إلى تمثيل داخلي يحتفظ بالمعنى حسني المحتسب تحليل الخطاب فهم وإحالة الروابط والضمائر بين الجمل الترجمة اآللية • • ترجمة نص من لغة معينة إلى لغة أخرى باستخدام التقنيات المعلوماتية المتقدمة بما في ذلك الحاسبات وبرامج وطرق الذكاء اُلصطناعي هدف الترجمة اآللية الحصول على النص المترجم بآلية كاملة دون تدخل بشري بجودة عالية 19 حسني المحتسب الترجمة اآللية :مثال 20 حسني المحتسب الترجمة اآللية :مثال 21 حسني المحتسب الترجمة اآللية :مثال 22 حسني المحتسب الترجمة اآللية :مثال 23 حسني المحتسب الترجمة اآللية :مثال 24 حسني المحتسب أول مثال وتخيل لنظام الترجمة اآللية في منتصف القرن السابع عشر 25 حسني المحتسب لمحة تاريخية • • • • • • • • في بداية القرن السابع عشر اقترح تكوين القواميس الميكانيكية نشر أول مثال وحلم لنظام الترجمة الميكانيكية في منتصف القرن السابع عشر في عام 1933م سجلت براءتا اختراع مستقلتان في كل من فرنسا وروسيا عن فكرة الترجمة الميكانيكية صمم العالم األمريكي من أصل فرنسي جورج أرتسوني أداة محكمة على شريط ورقي مقوى يستعمل إليجاد مكافئ ومماثل ألي كلمة في اللغة األخرى .وظهر النموذج المبدئي عام 1937م نوقش استعمال الحاسب اآللي لخدمة الترجمة من قبل علماء بريطانيين عام 1949م باعتماد طريقة البطاقات المثقوبة إلنتاج الكلمات الخامة لترجمة الملخصات العلمية أظهرت الحروب العالمية الحاجة للترجمة اآللية الفورية .عقد اول مؤتمر حول الترجمة اآللية عام 1952م أول مشروع للترجمة اآللية في جامعة جورج تاون بالتعاون مع شركة 1954 IBMم تم تجربة المشروع بواسطة عينات مختارة من 49جملة روسية لترجمتها إلى اللغة اإلنجليزية؛ وبواسطة مفردات محدودة مكونة من 250كلمة و 6قواعد فقط 26 حسني المحتسب لمحة تاريخية • • • • • • تعاونت القوات الجوية األمريكية مع شركة IBMلبناء نظام متكامل للترجمة اآللية بين اللغة الفرنسية واإلنجليزية عام 1966م توصلت اللجنة اُلستشارية للمعالجة اآللية للغات الحية في أمريكيا في إلى أن الترجمة اآللية بطيئة جدا ً وأقل دقة ومكلفة بمقدار الضعفين من الترجمة البشرية وبالتالي فليست هناك فائدة مجدية أو متوقعة من الترجمة اآللية كندا تستعمل اللغتين اإلنجليزية والفرنسية مما جعل الترجمة اآللية مهمة جدا ً لها اإلتحاد اُلقتصادي األوربي يتطلب ترجمة المستندات العلمية والتقنية بين اللغات األوروبية بين 1970و 1980م ظهرت العديد من األنظمة للترجمة اآللية اعتمدت في أغلبها على خبرات جامعة جورج تاون في هذا المجال من هذه األنظمة التي تترجم بين اللغات آليا ً كانت بين اإلنجليزية والفرنسية واإلنجليزية واإليطالية واإلنجليزية واأللمانية وغيرها 27 حسني المحتسب لمحة تاريخية • • • في أوائل 1980م ظهرت تقنية وعلم الذكاء اُلصطناعي فرفع من مستوى الترجمة اآللية ووضعها في منحى جديد أول ما ظهرت في جامعة أمريكية ،واستخدمتها في أوائل مشاريع الترجمة اآللية شركة هولندية (فيليبس) انتشر استخدامها بشكل كبير في شركات الحواسيب اليابانية وأدى إلى ظهور نظام الترجمة اآللية اليابانية بين اليابانية واإلنجليزية بواسطة جامعة كيوتو 28 حسني المحتسب ماذا عن العربية؟ • • • ظهرت شركات محدودة في هذا المجال من أبرزها شركة صخر هجرة العقول العربية إلى الشركات والدول األجنبية والعمل معها زاد اُلهتمام باللغة العربية بعد األحداث العالمية األخيرة 29 حسني المحتسب مراحل الترجمة • • • • • الترجمة البشرية :تتم الترجمة كاملة عن طريق المترجم البشري مساعدة المترجم :تتم الترجمة عن طريق المترجم البشري .ويساعد نظام الترجمة اآللية المترجم بما يمكن أن يطلق عليه قاموس آلي التحرير قبل الترجمة :تتم الترجمة اآللية لجمل بسيطة التراكيب ومحددة المعاني ،وعند خروج بعض الجمل عن إطار نظام الترجمة اآللية ،يطلب من المستخدم إعادة صياغة تلك الجمل التحرير بعد الترجمة :تحتاج الجمل المنتجة بنظام الترجمة اآللية إلى تصحيح وإعادة صياغة كتابتها الترجمة اآللية :يقوم نظام الترجمة اآللية بترجمة النص من اللغة اإلنجليزية إلى العربية دون مساعدة ،وهذا هو الهدف النهائي للترجمة اآللية 30 حسني المحتسب هل هو حلم؟ • وضع كتاب باللغة اإلنجليزية حول موضوع معين في آلة ما ،ثم الحصول بعد وقت قصير (ساعات) على ترجمة للكتاب باللغة العربية 31 حسني المحتسب هل هو حلم؟ • تصوير الكتاب المراد ترجمته تحويل الصور إلى حروف وتخزينها في ذاكرة للحاسوب • ترجمة النص إلى العربية بواسطة الحاسوب • طباعة النص • 32 حسني المحتسب معالم الترجمة اآللية من االنجليزية الى العربية 33 حسني المحتسب معالم الترجمة اآللية من االنجليزية الى العربية • • التحليل الصرفي :تقوم وحدة التحليل الصرفي بتحديد مفردات الكلمات من حيث كونها اسم او فعل او حرف والزوائد (السوابق واللواحق والمتضمنات) على كل منها التحليل التركيبي :تقوم هذه الوحدة بتحديد مواقع مفردات الكلمات من حيث كونها فاعل أو مفعول به او صفة او حال ..الخ ،هذا بالنسبة لَلسم .وبالنسبة للفعل فيتم تحديد زمنه وتصريفه ..الخ. 34 حسني المحتسب معالم الترجمة اآللية من االنجليزية الى العربية • • التحليل الداللي :يتم بناء تمثيل لدُلُلت كلمات النص وارتباطها ببعض باستخدام قواعد المعرفة التي تحتوي على التمثيل الدُللي لمفردات اللغة اُلنجليزية خوارزمية النقل :وتقوم بنقل التمثيل الدُللي باللغة اإلنجليزية إلى التمثيل الدُللي باللغة العربية .وتتم اُلستعانة بمعجم خاص ثنائي اللغة وبقواعد المعرفة اإلنجليزية والعربية المحددة في النظام للحصول على تمثيل للمعاني باللغة العربية 35 حسني المحتسب معالم الترجمة اآللية من االنجليزية الى العربية • • بناء الجمل :وبعد الحصول على تمثي ٍل للمعاني باللغة العربية تتم عملية إنشاء الجمل. المعجم ثنائي اللغة :يحتاج تصميم المعجم ثنائي اللغة إلى عناية خاصة لبنائه وتحديد عناصر مدخَلته .ومن الضروري أن يصمم المعجم بطريقة تجعله يتقبل البيانات ثم يخزنها آليا ً بالشكل المناسب والتراكيب المناسبة .وُل شك أن مرونة استخدام المعجم وطريقة تخزين البيانات ووسائل استرجاعها له أثر كبير في تقويم النظام وخاصة أننا نتوقع معجما ً ضخما ً .ويمكن اُلستفادة من تجارب سابقة تمت في هذا المجال 36 حسني المحتسب معالم الترجمة اآللية من االنجليزية الى العربية • • الذكاء االصطناعي ونظم الخبرة :تستخدم أدوات وأساليب الذكاء اُلصطناعي في تصميم وبناء نظام الترجمة ،ومن ثم يمكن اُلستفادة من أدوات نظم الخبرة لذلك من المستحسن إضافة وحدة مراجعة آلية بعد انتهاء ترجمة النص وذلك للتخلص من الغموض الذي قد يظهر أحيانا ً لسبب أو آلخر 37 حسني المحتسب مواقع للترجمة • موقع ترجم www.tarjem.com 38 حسني المحتسب مواقع للترجمة • موقع ترجم http://translat e.sakhr.com/s akhr/ 39 حسني المحتسب مواقع للترجمة • موقع المسبار http://www.almi _sbar.com/salam trans.html 40 حسني المحتسب مواقع للترجمة • بوابة مدينة الملك عبد العزيز للعلو والتقنية KACST http://translate.net.sa/ 41 حسني المحتسب برامج للترجمة • • • الوافي الذهبي الكافي ابحث عن المزيد 42 حسني المحتسب وشكرا سبحانك اللهم وبحمدك أشهد أن ُل إله إُل أنت أستغفرك وأتوب إليك 43 حسني المحتسب