advanced

Kafka retention

Задавайте time или size retention по recovery, replay, audit и storage needs, не treating Kafka только как queue или database.

Retention удаляет старые segments по time (retention.ms) или size (retention.bytes) per topic. Баланс recovery needs, replay для new consumers, audit requirements и disk cost. Unlimited retention превращает Kafka в дорогую database.

Компромисс: длинный retention помогает replay и debugging против storage и compaction overhead.

На интервью: retention для high-volume metrics vs financial audit events.

Типовые ошибки: default retention слишком короткий для slow consumer recovery; disk full от unbounded topics; нет tiered storage plan.

Чеклист:

Классифицируйте topics по replay и compliance needs.
Disk per broker и topic size в мониторинге.
Retention согласован с consumer lag SLAs.
Tiered storage или export в lake для archives.