هندسة البيانات

نظرة عامة

انقل وحوّل البيانات بثبات: دفع وتدفق. ابنِ خطوط بيانات بسيطة يمكن ملاحظتها من البداية للنهاية.

افهم الأوركسترة وتطور المخطط ومراقبة جودة البيانات.

المنهج الدراسي

• أنماط الإدخال وتصميم idempotency
• Batch مقابل Streaming وwindowing
• تنسيقات الملفات: CSV/JSON/Parquet والمفاضلات
• تحويلات: join وdedup والتعامل مع البيانات المتأخرة
• الأوركسترة وعمليات الإعادة مع backoff
• تطور المخطط وفحوصات التوافق
• الملاحظة: مقاييس وسجلات وسلاسل النسب
• التحقق وSLA لمجموعات بيانات حرجة