Transcript الملف الأول - الكلية الجامعية للعلوم والتكنولوجيا

‫الكلية الجامعية للعلوم التطبيقية‬
‫بكالوريوس اإلدارة التكنولوجيـة‬
‫إدارة مصادر المعلومات‬
‫األسبـوع الثاني‬
‫المحاضرة ‪ : 4‬مستودعات البيانات (‪)Data warehouse‬‬
‫المادة العلمية إعداد‪ /‬د‪ .‬سناء وفا الصايغ‬
‫تنظيم و تنقيح‪ /‬أ‪ .‬محمود رفيق الف َّرا‬
‫محاور المحاضرة‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫الحاجة لمستودعات البيانات‬
‫مفهوم مستودعات البيانات‬
‫معمارية بناء مستودع البيانات‬
‫أهمية مستودعات البيانات‬
‫خصائص وصفات مستودعات البيانات‬
‫خطوات بناء مستودعات البيانات‬
‫قضايا يجب مراعاتها عند بناء مستودعات البيانات‬
‫عرض النتائج في مستودعات البيانات‬
‫الصعوبات التي تواجه تطبيق مستودعات البيانات‬
‫‪2‬‬
‫بذكرك ربَّنـا نحيــا‬
‫‪‬‬
‫الذكر لمن أت َّم بالوضوء‬
‫َّ‬
‫ِ‬
‫ِ‬
‫َّ‬
‫يك لههُ وأَ ْشهه ُد أَ َّن‬
‫ر‬
‫ش‬
‫ال‬
‫ه‬
‫د‬
‫وح‬
‫ه‬
‫ل‬
‫ال‬
‫ال‬
‫إ‬
‫له‬
‫أَ ْشه ُد أَ ْن ال إ‬
‫َ‬
‫َْ‬
‫َ‬
‫َّ‬
‫اجع ْلن ه ه مه ههَّ اليَّه ه ه َّ اِ ََّ‬
‫ه‬
‫ه‬
‫ه‬
‫ُم َّ‬
‫َّ‬
‫حم ه ه بدا ْ‬
‫ال ه ه لُه الل ُ ْ‬
‫ُه ه ه ُدهُ َو ُ‬
‫واجع ْلن ِ‬
‫ِ‬
‫يَّ‬
‫ر‬
‫ه‬
‫ط‬
‫ي‬
‫الم‬
‫َّ‬
‫م‬
‫ِّ‬
‫َ‬
‫ْ‬
‫َ َُ َ‬
‫ب رضي َّ‬
‫ْ‬
‫عن ُع َمر ب ِْن َ‬
‫ال ‪ « :‬ما ِم ْن ُك ْم ِم ْن أَح ٍد يتوضَّأ ُ فَيُ ْبلِ ُغ‬
‫صلّى َّللاُ َعلَ ْي ِه و َسلَّم قَ َ‬
‫عن النَّبِ ِّي َ‬
‫الخطَّا ِ‬
‫َّللا َع ْنهُ ِ‬
‫ال ‪ :‬أَ ْشه ُد أَ ْن ال إِله إِالَّ َّ‬
‫ريك لهُ‪ ،‬وأَ ْشه ُد أَ َّن ُمح َّم ًدا ع ْب ُدهُ َورسُولُه ‪ ،‬إِالَّ‬
‫َّللا وحْ َده ال َش َ‬
‫أَو فَيُ ْسبِ ُغ ال ُوضُو َء ثُ َّم قَ َ‬
‫رواه الترمذي و مسلم و اللفظ لألول‪.‬‬
‫واب الجنَّ ِة الثَّ َمانِيَةُ يَد ُْخ ُل ِمنْ أَيِّها شا َء »‬
‫فُتِ َحت لَهُ أَ ْب ُ‬
‫‪3‬‬
‫الحاجة لمستودعات البيانات‬
‫‪ ‬مع الدخول واالنتشار الواسع لإلنترنت وتكنولوجيا االتصاالت أصبحت الوسيلة‬
‫سهلة لعملية تبادل وانتشار المعلومات‪.‬‬
‫‪ ‬و بالتالي أصبح هناك حاجة إلى توثيق تلك المعلومات بطريقة آلية وتجميعها في‬
‫قاعدة بيانات إلمكانية البحث في محتواها مع معالجة تلك البيانات باستخدام تقنيات‬
‫وأدوات فعلية تمكننا من سرعة الوصول واإلسترجاع للمساعدة في الوصول إلى‬
‫قرارات‪.‬‬
‫‪ ‬من هنا ظهرت وتطورت قواعد البيانات تطوراً كبيراً منذ بدايتها حتي اآلن‪.‬‬
‫‪ ‬كل هذا أدي إلى بروز تحدي جديد في كيفية تحول البيانات من قواعد تخزين‬
‫وبحث عن المعلومات إلى مستودعات بيانات ‪ Data warehousing‬نستنتج منها‬
‫المعرفة للمساعدة في اتخاذ القرار‪.‬‬
‫‪4‬‬
‫مفهوم مستودعات البيانات‬
‫إن مستودع البيانات عبارة عن قاعدة بياناات تتمامن بياناات مان عادد مان ا نظما‬
‫العامل (تعود لشرك واحدة أو أكثر)‪ ،‬تم الجمع بينها وجار تنظيمهاا بحيا أصاب‬
‫باإلمكان استخدامها لدعم تحليل واتخاذ القرار في العمل ‪.‬‬
‫‪ ‬عبارة عن "مجموعة من بيانات دائمة تاريخية متكاملة تساعد في اتخاذ القرارات‬
‫اإلدارية للمساعدة في الوصول إلى البيانات ألغراض التحليالت الزمني واكتشاف‬
‫المعرف واتخاذ القرارات‪ ،‬فهي مصممة خصيصا ً إلستخراج واستخالص البيانات‬
‫ومعالجتها وتقديمها وتمثيلها في صورة مناسب لهذا الغرض‪ ،‬وتتضمن كميات‬
‫ضخمة من البيانات تكون من مصادر مختلفة‪ ،‬أو من عدة قواعد مختلفة من أنظمة‬
‫وأماكن مختلفة‪.‬‬
‫‪5‬‬
‫معمارية بناء مستودع البيانات‬
‫‪6‬‬
‫أهمية مستودعات البيانات‬
‫‪ ‬لقد بنيت مستودعات البيانات لدراسة بيانات المؤسسة خالل فترة من الزممن حيزث‬
‫أن اتخاذ العديد من القرارات يتطلب النظر إلى ما وراء تفاصيل العمليات اليومية‪.‬‬
‫‪ ‬على سبيل المثال‪:‬‬
‫‪ ‬مززن االسززتعالمات الشززائعة فززي مسززتودع البيانززات ذاك الززذ يعززرض تقريززراً‬
‫بمبيعات أحد المنتجات على مدى األعوام الخمس الماضية‪.‬‬
‫‪‬يتطلب انجام هذا النوع من التحليزل أن يزتم االحتفزاظ بالبيانزات فزي المسزتودع‬
‫على فترات طويلة من الممن (غالبا ً ‪ 5‬أو ‪ 10‬سنوات)‪.‬‬
‫‪ ‬إن الغايززة مززن مسززتودع البيانززات هززي النظززر إلززى مززا وراء البيانززات سززعيا ً للحصززول‬
‫على المعلومات و المعرفة مما يساهم في دعم إتخاذ القرارات االستراتيجية‪.‬‬
‫‪ ‬والنشاط األساسي فيه هو االستعالم عن البيانات أو قراءتها أما عملية التعديل فتزتم‬
‫فقط عند تحميل بيانات جديدة‪.‬‬
‫‪7‬‬
‫خصائص وصفات مستودعات البيانات‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫‪‬‬
‫تستخدم النموذج متعدد األبعاد ‪Multidimensional Model‬‬
‫تدعم السالسل الممنيزة ‪Time Series‬وتحليزل التوجهزات ‪Trends Analysis‬‬
‫اللذين يحتاجان لبيانات تاريخية التستطيع قواعد البيانات العادية أن توفرها‪.‬‬
‫تحزديث البيانزات دور ‪ Periodic‬أ يزتم كزل فتارة بواسزطة أجزماء منزه تخزتص‬
‫بهذا األمر‪.‬‬
‫القدرة الفائقة على استرجاع البيانات وتحليلها‪.‬‬
‫مستويات تجميع ‪ Aggregation‬وأبعاد ‪ Dimensions‬غير محدودة‪.‬‬
‫دعم معمارية ‪ Client/server‬وتعددية المستخدمين‪.‬‬
‫االحتفاظ بكمية ضخمة من البيانات قد تصل إلى عدة تيرابايتات‪.‬‬
‫مركمة على موضوع محدد ‪.Subject-Oriented‬‬
‫‪8‬‬
‫خطوات بناء مستودعات البيانات‬
‫‪ ‬خطووواب بنوواء و رطوووير مسووتود بيالوواب موون الم وواريت الجووخمة التووي رحتووا إلووى‬
‫فريووع عمو مو إمكاليوواب مميوواة علووى جووالبي التحليو و البرمجووة‪ ,‬باإلضووافة لتوووفر‬
‫موارد مادية كبيرة‪ ,‬ثم يتم اربا الخطواب التاليـة‪:‬‬
‫‪ .1‬إل اء مسواحة للبيالواب ‪ Creating data preparation area‬وهوي قاعودة بيالواب‬
‫ماب سعة رخاين عالية جداً رقوم بتخاين كافة البيالواب القادموة مون أل موة الت ويي‬
‫المختلفووة لكووي يووتم رنقيووة ورعوودي البيالوواب فيهووا قبو رحميلهووا فووي مسوتود البيالوواب‪،‬‬
‫ويراعوى فيهوا أن يكوون رموميم قاعودة إعوداد البيالواب متوافقوا ً موت رموميم مسوتود‬
‫البيالاب‪.‬‬
‫‪ .2‬بنواء مسوتود البيالواب ‪ Creating data warehouse‬وفيهوا يوتم إل واء مسوتود‬
‫للبيالاب بعد استخراجها ورنقيتها‪ ،‬ورممم المسوتودعاب دامموا بحيو رسوم بوجوود‬
‫عالقاب ماب أبعاد مختلفة (سلعة – ثمن – وقت – طبيعة زبون ‪.)...‬‬
‫‪ .3‬رجامة مستود البيالاب إلى مجموعة من متاجر البيالاب ‪.Data marts‬‬
‫‪9‬‬
‫خطوات بناء مستودعات البيانات‬
‫‪ .4‬دمج ورنقية ولق البيالاب ‪ Data extraction & cleansing & transformation‬وفي‬
‫هذه المرحلة يتم جلب البيالاب من ممادرها المختلفة إلى ‪،Data preparation area‬‬
‫ولقوم بتحويلها من صورة إلى أخرى إما رطلب األمر ملك‪ ،‬وفي أحيان كثيرة ردمج‬
‫بعض البيالاب مت بعجها البعض‪ ،‬أو لقوم بتعريف بيالاب جديدة لم ركن موجودة‬
‫من قب ‪ ،‬باإلضافة إلى رنقية البيالاب غير المحيحة وحذف اليير مهم منها‪.‬‬
‫‪ .5‬رحمي البيالاب في مستود البيالاب ‪ Loading data in data warehouse‬وفي رلك‬
‫المرحلة رحم من ‪ Data preparation area‬إلى مستود البيالاب‪ ،‬ويتم فيها اختبار‬
‫البيالاب‪.‬‬
‫‪ .6‬رحلي البيالاب وإل اء رطبيقاب ل م دعم ارخام القرار ‪OLAP & creating DSS‬‬
‫‪ applications‬وفي رلك المرحلة رنفذ التطبيقاب الخاصة بعرض مستود البيالاب‬
‫ورحليلها ورسمى ‪ Online Analytical Processing Systems‬وهذه التطبيقاب رقوم‬
‫بعرض البيالاب بعدة أبعاد أيجا ُ في رلك المرحلة رستخدم أدواب التنقب عن‬
‫البيالاب ‪.Data mining tools‬‬
‫‪10‬‬
‫خطوات بناء مستودعات البيانات‬
‫‪11‬‬
‫خطوات بناء مستودعات البيانات‬
‫‪12‬‬
‫قضايا يجب مراعاتها عند بناء مستودعات البيانات‬
‫‪ ‬استخالص البيانات من عدة مصادر قد تكون غير متجانسة و بالتالي تحتاج‬
‫إلى التهيئة لضمان انسجامها ‪ Consistency‬داخل مستودع البيانات‪.‬‬
‫‪ ‬تنظيف البيانات لضمان صحتها ‪ ،Validity‬ويتم من خالل قاعدة البيانات التي‬
‫أخذت منها البيانات‪.‬‬
‫‪ ‬مراقبة وضبط حجم مستودع البيانات أثناء وبعد تحميله بالبيانات‪.‬‬
‫‪ ‬تحديث البيانات كل فترة من الزمن‪.‬‬
‫‪ ‬تحديد الوقت الالزم للبناء وما هي الجدوى االقتصادية بالنسبة للمؤسسة التي‬
‫سوف تستعمله‪.‬‬
‫‪13‬‬
‫قضايا يجب مراعاتها عند بناء مستودعات البيانات‬
‫‪ ‬معظم أو غالبية المؤسسات تعتمد بنية ‪ Three-tier architecture‬في عمل‬
‫مستودعات البيانات‪ ،‬وفيها يقسم المستودع إلى ثالثة مستويات على النحو‬
‫اآلتي‪:‬‬
‫‪.1‬‬
‫مستوى األنظمة التشغيلية ومصادر البيانات المختلفة ‪.Data sources and operation systems‬‬
‫‪.2‬‬
‫مستوع مستودع البيانات ‪.Data warehouses tier‬‬
‫‪.3‬‬
‫مستوى تطبيقات العرض والتحليل ‪.OLAP systems‬‬
‫‪14‬‬
Three-tier architecture
15
‫عرض النتائج في مستودعات البيانات‬
‫‪ ‬إن عملية العرض تستخدم طريقتين لتحليل تلك البيانات كما يلي‪:‬‬
‫‪ ‬الطريق ا ولى‪ :‬وهى الحسابية حيث استعمال تحليل البيانات ‪Analyze data‬‬
‫من أجل إظهار النتائج بطريقة حسابية إحصائية (الجمع‪ ،‬الطرح‪،‬‬
‫المعدل‪...‬الخ)؛‬
‫‪ ‬الطريق الثاني ‪ :‬استخراج البيانات ‪ Data mining‬وإظهار البيانات في شكل‬
‫رسم بياني أو إحصائي ‪ Diagram‬بحيث تحوى كل واحدة منها معلومات في‬
‫مجال معين (اإلدارة‪ ،‬التسويق‪ ،‬شؤون الموظفين‪ ...‬الخ) لتستعمل في تحديد‬
‫البحث واستعمال أنظمة التحليل على تلك المخامن إلتخاذ القرارات‪.‬‬
‫‪16‬‬
‫الصعوبات التي تواجه تطبيق مستودعات البيانات‬
‫ابتداء من وضع الخطط حوله وحتى‬
‫‪ ‬اإلنشاء يستغرق بعض الوقت‬
‫ً‬
‫االنتهاء من تطبيقه‪.‬‬
‫‪ ‬إدارة المستودع صعبة نظ ار للحجم الكبير وتعقيده‪ ،‬ويتطلب ذلك تدريباً‬
‫للقائمين عليه وخصوصاً من ناحية مراعاة جودة البيانات‪.‬‬
‫‪ ‬صعوبة التقدير الحتياجات المستخدم قبل البدء في عملية اإلنشاء‪.‬‬
‫‪ ‬ظهور أشكال ومواقع جديدة للبيانات بعد اإلنتهاء من إنشاء المستودع‬
‫يزيد من صعوبة إدارته‪.‬‬
‫‪17‬‬
‫أشكركم ‪،،،‬‬
‫السؤال مفتاح للعلوم كلها‪...‬‬
‫رذكر أن ليورن عندما سأل لماما وقعت التفاحـة وص إلى قوالين الجامبيــة ‪...‬‬
‫‪18‬‬