Data quality и lineage

Доверенная аналитика требует измеримого качества и прослеживаемого lineage. Измерения качества: freshness (последняя успешная загрузка), completeness (доля null и аномалий), uniqueness (дубликаты ключей), validity (схема и бизнес-правила), consistency между источниками.

Lineage отвечает: какая upstream таблица/колонка породила метрику дашборда и какие downstream отчёты сломаются при изменении. Инструменты: OpenLineage, dbt exposures, data catalogs, теги на уровне колонок в метаданных warehouse.

					source.orders → staging.orders_clean → mart.revenue_daily → BI dashboard
				

На интервью: инцидент, когда плохие данные дошли до руководства, и как freshness checks или lineage сократили бы время обнаружения; баланс governance и скорости команды.

Типовые ошибки: дашборды без владельца; нет алертов на устаревшие партиции; lineage только в wiki; quality checks предупреждают, но не блокируют; игнор schema drift от CDC.

Компромисс — уверенность в решениях против инвестиций в tooling, процессного трения и социальной цены назначения data owners.

Чеклист:

• Перечислите измерения качества для KPI.
• Постройте lineage от источника до дашборда.
• Автоматизируйте freshness и аномалии объёма.
• Назначьте владельцев датасетов и метрик.
• Свяжите breaking changes с уведомлением потребителей.