Сложность:Теги:
Проектирование ELT-пайплайна: extract → load raw → transform
Идемпотентность, staging vs marts, инкрементальная загрузка vs full refresh, dbt-стиль трансформаций и freshness SLA.
eltpipelinedbt
Открыть
Продвинутый1-2 часа
Дизайн DAG'ов в Airflow без боли
Дробление tasks, dependencies, retries, SLA, sensors vs polling, как не сделать DAG-of-doom и когда смотреть на Prefect/Dagster.
airfloworchestrationdag
Открыть
Продвинутый1-2 часа
Data quality checks: schema, nullness, freshness, business rules
Где запускать (input/output/cross), fail vs warn, метрики для дашборда, как не превратить тесты в боль.
data-qualitydbt-testsgreat-expectations
Открыть
Средний30-60 мин
Стратегия бекфилла: chunking, throttling, rollback
Когда нужен бекфилл, требования к идемпотентности, чанкование по дням/часам, не положить прод БД, мониторинг прогресса.
backfillidempotencythrottling
Открыть
Продвинутый30-60 мин
Observability data-пайплайнов: latency, throughput, lineage, SLO
Что мерить на каждой стадии, lineage через OpenLineage/Marquez, SLO для свежести, как алертить без шума.
observabilitylineageopenlineage
Открыть
Продвинутый1-2 часа
5 из 5