advanced

Kafka consumer groups

Используйте consumer groups, чтобы each partition processed одним member per group, а independent groups держали own offsets и replay pace.

Consumer groups координируют partition assignment: каждую partition читает один member группы. Разные groups на одном topic держат independent offsets — pub/sub. Static membership и cooperative rebalancing снижают stop-the-world pauses.

Компромисс: max полезных consumers per group ограничен partition count; больше groups — больше offset storage и lag dashboards.

На интервью: новый analytics pipeline без влияния на offsets billing consumer group.

Типовые ошибки: один group.id в staging и prod; consumers больше partitions простаивают; rebalance на каждый pod restart.

Чеклист:

Уникальный group.id per application и environment.
Consumer count согласован с partitions намеренно.
Tune session timeout и max.poll.interval.
Lag per group и partition на dashboard.