Продуктовая аналитика и эксперименты

Продуктовая аналитика и эксперименты связывают инженерную работу с **измеримыми outcomes**: события, воронки, когорты, guardrail metrics, A/B-тесты и решения о rollout. На интервью проверяют trustworthy measurement — не только feature flag.

| Блок | Назначение | |------|------------| | Event schema | Стабильные имена, обязательные properties, versioning, idempotency keys | | Identity | Склейка anonymous и logged-in без нарушения privacy | | Funnels & retention | Шаги по реальному UX, не только URL | | Guardrails | Revenue, latency, errors, support volume рядом с primary metric | | Experiment design | Гипотеза, unit assignment, длительность, power, stopping rules | | Rollout | Постепенное exposure, kill switches, holdouts для долгих эффектов |

					До launch: primary metric + guardrails + assignment + privacy review
После: sanity checks (SRM, sample ratio), decision memo
				

Ловушки валидности: ранний peeking; смена метрик mid-flight; пересекающиеся эксперименты на одних users; novelty; сезонность; клики вместо завершённых outcomes.

Privacy-aware measurement: минимум properties, consent, агрегация где возможно, документирование потоков к analytics vendors.

На интервью: доказать, что новый onboarding помогает activation. События, primary metric (например day-7 activation), guardrails (crash rate, time-to-first-value), assignment (user-level), детект сломанного эксперимента.

Типовые ошибки: только page views; нет control; 100% rollout до рабочей instrumentation; analytics без воспроизведения в warehouse SQL.

Компромисс — строгость измерений и latency экспериментов против скорости ship и терпимости к inconclusive results.

Чеклист:

• Event dictionary с PM и data.
• Pre-registered primary и guardrail metrics.
• Проверяемое assignment и exposure logging.
• Rollback при breach guardrails.