advanced
Основы data engineering
Понимайте OLTP и OLAP, ETL/ELT, batch- и streaming-пайплайны, warehouses, data lakes, качество данных, lineage и границы аналитики.
На интервью по основам data engineering разделяют OLTP и OLAP и затрагивают безопасные миграции схемы, бэкапы, репликацию, CDC, ETL/ELT и качество или lineage данных. FullStack-кандидат должен уметь разместить это в архитектуре без over-engineering каждого приложения.
Подтемы: OLTP vs OLAP, миграции, бэкапы, репликация, CDC, ETL/ELT pipelines, data quality и lineage.
На интервью: как транзакционные данные попадают в warehouse; что ломается при смене схемы; как доказать, что restore из бэкапа работает.
Типовые ошибки: аналитика на production OLTP; миграции без expand-contract; пайплайны без идемпотентности; нет владельца freshness данных.
Компромисс — между аналитической ценностью и сложностью пайплайнов, стоимостью и governance.
Чеклист:
- Разделяйте OLTP и OLAP нагрузки.
- Версионируйте миграции с обратно совместимым deploy.
- Тестируйте restore, а не только job бэкапа.
- Делайте пайплайны идемпотентными с наблюдаемой freshness.