Инженерия данных
ETL/ELT, конвейеры, DWH, batch/stream.
Обзор
Надёжный перенос и преобразование данных: batch/stream. Простые наблюдаемые пайплайны от источника до витрины.
Оркестрация, эволюция схем и мониторинг качества данных.
Программа курса
- Инжест и идемпотентный дизайн
- Batch vs streaming и window‑подходы
- Форматы: CSV/JSON/Parquet и компромиссы
- Трансформации: join, dedup, late‑data
- Оркестрация и ретраи с backoff
- Эволюция схем и проверки совместимости
- Observability: метрики, логи, lineage
- Валидация и SLA для критичных датасетов