Kafka для event streaming и replay

Выбирайте Kafka, когда нужен устойчивый упорядоченный лог событий с replay, высокий throughput и независимые consumer group, читающие один поток в своём темпе. Event sourcing, аналитические пайплайны, audit trail и интеграция команд через общие topic хорошо ложатся на Kafka.

Kafka хранит сообщения по политике, а не до обработки — consumer ведут offset. Partition даёт параллелизм с порядком внутри ключа. Операционная цена: размер кластера, rebalancing, schema registry и мониторинг consumer lag.

На интервью: сравните Kafka и RabbitMQ для платформы уведомлений, объясните ценность replay и когда Kafka избыточен.

Типовые ошибки: Kafka как task queue с ack на сообщение; мало partition для throughput; нет стратегии compaction для changelog topic; игнорирование SLO по consumer lag.

Чеклист:

• Подтвердите нужду в replay и хранении истории.
• Размер partition под throughput и ключи порядка.
• План эволюции схемы и registry.
• Мониторинг lag по consumer group.