Transcript ppt
التشكيل اآللي للنص العربي الحوسبة العربية (تعريب الحاسبات( – 24 حسني املحتسب +محاضرات الطالب 1 1 حسني المحتسب بسم هللا الرحمن الرحيم الحوسبة العربية (تعريب الحاسبات( – 24 التشكيل اآللي للنص العربي +محاضرات الطالب 1 حسني املحتسب 2 حسني المحتسب تقبل هللا منا ومنكم وكل عام وأنتم بخير 3 حسني المحتسب المسار • التشكيل اآللي للنص العربي • 4 محاضرات الطالب 1 حسني المحتسب التشكيل اآللي للنص العربي 5 حسني المحتسب التشكيل اآللي للنص العربي • حدثنا يحيى بن يحيى التميمي ،وأبو بكر بن أبي شيبة ومحمد بن العالء الهمداني -واللفظ ليحيى -قال يحيى أخبرنا وقال اآلخران ،حدثنا أبو معاوية ،عن األعمش ،عن أبي صالح ،عن أبي هريرة ،قال قال رسول هللا صلى هللا عليه وسلم " :من نفس عن مؤمن كربة من كرب الدنيا نفس هللا عنه كربة من كرب يوم القيامة ومن يسر على معسر يسر هللا عليه في الدنيا واآلخرة ومن ستر مسلما ستره هللا في الدنيا واآلخرة وهللا في عون العبد ما كان العبد في عون أخيه ومن سلك طريقا يلتمس فيه علما سهل هللا له به طريقا إلى الجنة وما اجتمع قوم في بيت من بيوت هللا يتلون كتاب هللا ويتدارسونه بينهم إال نزلت عليهم السكينة وغشيتهم الرحمة وحفتهم المالئكة وذكرهم هللا فيمن عنده ومن بطأ به عمله لم يسرع به نسبه" 6 حسني المحتسب التشكيل اآللي للنص العربي • ش ْيبَةَ َو ُم َح َّمد ُ ب ُْن ْالعَالَ ِء يَ ،وأ َبُو بَ ْك ِر ب ُْن أ َ ِبي َ َحدَّثَنَا يَ ْحيَى ب ُْن يَ ْحيَى الت َّ ِم ِ يم ُّ ي َ -واللَّ ْف ُ انَ ،حدَّثَنَا أَبُو ظ ِليَ ْحيَى -قَا َل يَ ْحيَى أ َ ْخبَ َرنَا َوقَا َل اآلخ ََر ِ ْال َه ْمدَانِ ُّ سو ُل َّ ِ اَّلل ع ْن أَبِي ُه َري َْرة َ ،قَا َل قَا َل َر ُ حَ ، ع ِن األ َ ْع َم ِشَ ، ُمعَا ِويَةََ ، ع ْن أَبِي َ صا ِل ٍ س َّ ع ْن ُمؤْ ِم ٍن ُك ْربَةً ِم ْن ُك َر ِ س َ اَّللُ ب الدُّ ْنيَا نَفَّ َ صلى هللا عليه وسلم " َم ْن نَفَّ َ علَ ْي ِه فِي س َر َّ علَى ُم ْع ِس ٍر يَ َّ ب يَ ْو ِم ْال ِقيَا َم ِة َو َم ْن يَ َّ ع ْنهُ ُك ْربَةً ِم ْن ُك َر ِ اَّللُ َ س َر َ َ ع ْو ِن اآلخ َر ِة َو َّ ست َ َرهُ َّ اَّللُ ِفي الدُّ ْنيَا َو ِ الدُّ ْنيَا َو ِ اَّللُ ِفي َ ست َ َر ُم ْس ِل ًما َ اآلخ َر ِة َو َم ْن َ سلَ َك َ ْالعَ ْب ِد َما َك َ س َّه َل َّ ط ِريقًا يَ ْلت َ ِم ُ ان ْالعَ ْبد ُ فِي َ س فِي ِه ِع ْل ًما َ ع ْو ِن أ َ ِخي ِه َو َم ْن َ اَّللُ لَهُ ِب ِه َ اب َّ ِ ت َّ ِ اجت َ َم َع قَ ْو ٌم ِفي بَ ْي ٍ اَّلل اَّلل يَتْلُ َ ت ِم ْن بُيُو ِ ط ِريقًا ِإلَى ْال َجنَّ ِة َو َما ْ ون ِكت َ َ سونَهُ بَ ْينَ ُه ْم ِإالَّ نَزَ لَ ْ س ِكينَةُ َو َ الر ْح َمةُ َو َحفَّتْ ُه ُم علَ ْي ِه ُم ال َّ ار ُ غ ِشيَتْ ُه ُم َّ ت َ َويَتَدَ َ اَّللُ ِفي َم ْن ِع ْندَهُ َو َم ْن بَ َّ ع َملُهُ لَ ْم يُ ْس ِر ْ سبُهُ ْال َمالَ ِئ َكةُ َوذَ َك َر ُه ُم َّ طأ َ ِب ِه َ ع ِب ِه نَ َ 7 حسني المحتسب • • • • • • • • • • • • • • • • حدثنا يحيى • بن • يحيى • التميمي • ، • وأبو • بكر • بن • أبي • شيبة • ومحمد • بن • العالء • الهمداني • • 8 • هل نحاول اقتراح االحتماالت المختلفة للتشكيل؟ • • ومن واللفظ • عن • " • • من • يسر ليحيى • أبي • • صالح • نفس • على • • عن • معسر • ، قال • • مؤمن • يسر • عن يحيى • • كربة • هللا أخبرنا • أبي • • هريرة • من • عليه وقال • • كرب • في اآلخران • ، • • الدنيا • الدنيا • قال ، • واآلخرة • • قال • نفس حدثنا • • ومن • رسول • هللا أبو • • عنه • ستر معاوية • هللا • • مسلما • صلى • كربة ، • • من • ستره • هللا عن • • كرب • هللا األعمش • عليه • • وسلم • يوم • في ، حسني المحتسب • : • • الدنيا واآلخرة وهللا في عون العبد ما كان العبد في عون أخيه ومن سلك طريقا يلتمس فيه علما • • • • • • • • • • • • • • • • • سهل هللا له به طريقا إلى الجنة وما اجتمع قوم في بيت من بيوت هللا يتلون كتاب هل نشكل هذه الكلمة؟ • • • • • • درس س دَ َر َ س دَ َّر َ س د ُِر َ س د ُِر َ س دَ ْر ٌ 9 • • • درس المعلم أحمد الدرس درس اليوم ممتع درس هذا الموضوع سابقا حسني المحتسب هل نشكل هذه الكلمات؟ • • قال رسول هللا صلى هللا عليه وسلم عالقة الكلمات بما يجاورها 10 حسني المحتسب عالقة الكلمات بما يجاورها • • قال رسول هللا صلى هللا عليه وسلم عالقة الكلمات بما يجاورها (احتمالية ظهور الكلمة بعد الكلمة السابقة لها) • ثنائيات bi-gram • • • • • • • • • • • 11 قال ← <بداية جملة> رسول ← قال هللا ← رسول صلى ← هللا هللا ← صلى عليه ← هللا وسلم ← عليه ثالثيات tri-gram رباعيات quadra-gram خماسيات five-gram .... حسني المحتسب عالقة الكلمات بما يجاورها • • قال رسول هللا صلى هللا عليه وسلم احتمالية ظهور الكلمة بعد الكلمتين السابقتين لها • ثالثيات tri-gram • • • • • • • • • 12 رسول ← <بداية جملة> قال هللا ← قال رسول صلى ← رسول هللا هللا ← هللا صلى عليه ← صلى هللا وسلم ← هللا عليه رباعيات quadra-gram خماسيات five-gram .... حسني المحتسب عالقة الكلمات بما يجاورها • • قال رسول هللا صلى هللا عليه وسلم احتمالية ظهور الكلمة بعد الكلمات الثالثة السابقة لها • رباعيات quadra-gram • • • • • • • 13 هللا ← <بداية جملة> قال رسول صلى ← قال رسول هللا هللا ← رسول هللا صلى عليه ← هللا صلى هللا وسلم ← صلى هللا عليه خماسيات five-gram .... حسني المحتسب عالقة الكلمات بما يجاورها • • قال رسول هللا صلى هللا عليه وسلم احتمالية ظهور الكلمة بعد الكلمات األربعة السابقة لها • خماسيات five-gram • • • • • 14 صلى ← <بداية جملة> قال رسول هللا هللا ← قال رسول هللا صلى عليه ← رسول هللا صلى هللا وسلم ← هللا صلى هللا عليه .... حسني المحتسب كي نشكل كلمة • • • • • • • هل نفترض أن الكلمة غير مشكلة؟ هل نسمح بوجود كلمات مشكلة جزئيا؟ هل نفترض أن الكلمات خالية من األخطاء؟ إذا كان التشكيل الجزئي مسموحا ،فهل نفترض الخلو من األخطاء؟ هل نعتبر الحركة على نهاية الكلمة؟ ما تأثير ذلك على عملية التشكيل؟ من يحدد اإلجابة على هذه األسئلة؟ 15 حسني المحتسب احصائيات • النص المستخدم (مشكل) • • • • • • • • • 6633جملة 40511كلمة 306534رمز عدا الفراغات 340448مع الفراغات اإلحصائيات • • الفتحة ـ َ 42800 : السكون ـْ 23327 : الكسرة ـِ 21864 : الضمة ـ ُ 12613 : تابع اإلحصائيات • • • • إحصائيات أخرى • • • • • 16 الشدة ـ 3029 : تنوين الفتح ـ ً 1079 : تنوين الكسر ـٍ 1069 : تنوين الضم ـ ٌ 872 : ال 10879 : ا – 34413 :ل 23809 : معدل الكلمات في الجملة 6.1 معدل الرموز في الجملة 46.2مع الحركات معدل الرموز في الكلمة 7.6مع الحركات حسني المحتسب احصائيات نسبة تكرار حرف نسبة تكرار حرف نسبة تكرار حرف 18 34413ا 4392 2.3ف 1223 0.6 ض 12 23809ل 4172 2.2ك 823 0.4 ز 16737 8.8ة 4147 2.2ج 755 0.4 ث 13728 7.2م 3920 2.1ه 741 0.4 غ 12982 6.8ي 3387 1.8ق 723 0.4 ؟ 7974 4.2 ر 3258 1.7ح 584 0.3 ئ 7730 4.1 ب 2608 1.4ط 565 0.3 ء 7417 3.9 ن 1 1967ص 429 0.2 ظ 7412 3.9 ع 1 1960خ 204 0.1 ؤ 6884 3.6 د 1599 0.8ى 6554 3.4 و 1316 0.7ذ 5103 2.7 17 س المحتسب ش 0.7حسني1281 190797 100 نشاط :ما فائدة اإلحصاءات؟ 18 حسني المحتسب خوارزمية عامة للتشكيل • • هل الكلمة من كلمات المجموعة المغلقة التي لها شكل واحد؟ شكلها هل الكلمة والكلمات الثالثة التالية لها موجودة في مجموعات الرباعيات المترابطة ()Quadra-gram؟ شكلها وشكل رفيقاتها • • • • • هل نحتاج الستخدام الخماسيات المترابطة؟ السداسيات المترابطة؟ السباعيات؟ هل الكلمة والكلمتين التاليتين لها موجودة في مجموعات الثالثيات المترابطة ()Tri-gram؟ شكلها وشكل رفيقاتها هل الكلمة والكلمة التالية لها موجودة في مجموعات الثنائيات المترابطة ()Bigram؟ شكلها وشكل رفيقتها .هل تشكل رفيقتها؟ 19 حسني المحتسب خوارزمية عامة للتشكيل (تابع) • • • • • هل الكلمة صحيحة؟ هل نستخدم وحدة تصحيح آلية؟ صحح الكلمة وأعد الخطوات السابقة في حالة عدم تشكيل الكلمة في الخطوات السابقة تابع ما يلي حسب حروف الكلمة طبق القواعد الممكنة لتشكيل بعض حروف الكلمة عند إضافة أية حركة أعد تطبيق القواعد الممكنة إذا بقيت حروف غير مشكلة تابع الخطوات التالية 20 حسني المحتسب خوارزمية عامة للتشكيل (تابع) • هل الحرف والحروف والحركات الستة التالية له موجودة في مجموعات السباعيات المترابطة ()seven-gram؟ شكله وشكل رفقاءه؟ • • • • • هل نحتاج الستخدام الثمانيات المترابطة؟ التساعيات المترابطة؟ العشريات؟ هل الحرف والحروف والحركات الخمسة التالية لها موجودة في مجموعات السداسيات المترابطة ()sex-gram؟ شكله وشكل رفقاءه هل الحرف والحروف والحركات األربعة التالية له موجودة في مجموعات الخماسيات المترابطة ()Five-gram؟ شكله وشكل رفقاءه 21 حسني المحتسب خوارزمية عامة للتشكيل (تابع) • • • • هل الحرف والحروف والحركات الثالثة التالية له موجودة في مجموعات الرباعيات المترابطة ()Quadra-gram؟ شكله وشكل رفقاءه هل الحرف والرمزين التاليين له موجود في مجموعات الثالثيات المترابطة ()Tri-gram؟ شكله وشكل رفيقه. هل الحرف والحرف التالي له موجود في مجموعات الثنائيات المترابطة ()Bigram؟ شكله وشكل رفيقه .هل تشكل رفيقه؟ إذا لم يشكل الحرف حتى هذه الخطوة ،اختر الحركة األكثر احتمالية 22 حسني المحتسب كلمات المجموعة المغلقة • • • المجموعة المغلقة تحوي الكلمات التي لها شكل واحد نحتاج إلى تجميع هذه الكلمات الكلمات التي نتوقع أن يكون لها تشكيل فريد • • • • • 23 كان قال ما ال طالما حسني المحتسب نشاط صفي :قواعد للتشكيل اآللي • بعض القواعد المحتملة • • • • الحرف قبل األلف مفتوح الحرف قبل الواو الممدودة مضموم الحرف قبل الياء الممدودة مكسور استخرج بعض القواعد 24 حسني المحتسب متطلب :10شارك في إعداد االختبار • اطلع على المادة المغطاة واقترح سؤالين اثنين على األقل ترى أن من المناسب أن يكونا جزءا من االختبار الختامي للمادة مع مالحظة ما يلي: • • • • • 25 نص كل سؤال بلغة عربية فصحى وبوضوح مع الصور والجداول عند الحاجة زمن اإلجابة المتوقع لكل سؤال هو 10دقائق بين ارتباط السؤال بأهداف المادة أكتب إجابة نموذجية لكل سؤال اجعل السؤال يتطلب نوعا من التفكير الناقد حسني المحتسب وشكرا سبحانك اللهم وبحمدك أشهد أن ال إله إال أنت أستغفرك وأتوب إليك 26 حسني المحتسب