مـــقــدمـــة:
نعيش اليوم في عصر يسمى عصر البيانات الضخمة حيث هناك تزايد كبير جداً في حجم وسرعة وتنوع البيانات وهذه البيانات بطبيعتها صاخبة ومليئة بالنقوصات والاخطاء والبيانات الشاذة والخ.. وهذه البيانات تحتاج الى من يعالجها بشكل فوري او دوري او بشكل اوتوماتيكي.
البيانات اليوم في اغلب الشركات والمؤسسات اصبح حجمها كبير جداً وهي في تدفق وزيادة مستمرة بسبب تنوع المصادر التي تولد البيانات مثل وسائل التواصل الاجتماعي والتطبيقات والمواقع الالكترونية والمستشعرات والخ.. هذه البيانات الكبيرة والمتدفقة تحتاج الى معالجة اوتوماتيكية ومعالجة فورية لأستغلال الوقت وتقليل الجهد والكلفة وتنظيم العمل.
هذه العمليات تسمى بـ “هندسة البيانات” وفي اغلب المشاريع الحقيقية في الحياة العملية نقوم بهندسة البيانات من اجل الاستفادة القصوى من البيانات واتخاذ القرارات الصائبة بناء على تحليلات عميقة وبصيرة نحصل عليها من البيانات وايضاً نحتاج الى هندسة البيانات قبل بناء النماذج والانظمة والتطبيقات والبرامج الذكية من اجل الحصول على نتائج دقيقة جداً.
مرحبا بكم في دورة ( BD110: Data Engineering ) حيث في هذه الدورة سوف نتعلم الاساسيات المهمة في هندسة البيانات وتشمل:
- معالجة البيانات من اجل جعلها جاهزة للتحليل او لبناء النماذج والانظمة والتطبيقات
- صناعة انابيب البيانات او ال Data Pipeline
- معالجة تدفق البيانات “Data Streaming”
كل هذه الامور واكثر ستتعلمها من خلال الشرح المفصل والامثلة العملية ثم التمارين البرمجية من اجل ممارسة كل شيء سنتعلمه واخيراً سنقوم بناء المشاريع من اجل تهيئتك للعمل في هذا المجال بشكل كامل.
المشاريع:
في هذه الدورة سوف نقوم ببناء مشاريع وانظمة وتطبيقات حقيقية مهمة جداً حيث سنقوم ببناء المشاريع التالية:
- مشروع التنبؤ بأسعار العقارات (مشروع كبير ثلاثة اجزاء)
- التنبؤ بتأخر الرحلات الجوية بأستخدام Spark PipeLine
- مشروع عد الكلمات الصادرة من السيرفر (معالجة تدفق البيانات)
- مشروع بناء نظام لمعالجة تدفق بيانات تطبيق ويب
هذه الدورة قيد التطوير وسيتم فتح التسجيل قريباً …
