Репост из: Devops Brain Test
🔖 Kafka: Partitions и Consumer Groups — Часть 2
В первой части разобрались, зачем Kafka вообще нужна.
Теперь переходим к механике, без которой Kafka не была бы Kafka: Partitions и Consumer Groups.
В ней мы разберём вместе c вами:
• зачем топики делят на партиции;
• почему порядок сообщений гарантируется только внутри одной партиции;
• как Producer выбирает, куда записать сообщение;
• почему Key так важен;
• как Consumer Group распределяет нагрузку между обработчиками;
• что будет, если consumer-ов больше, чем partition-ов.
Kafka – from 0 to hero:
• Kafka: архитектура и базовые принципы — Часть 1
• Kafka: Partitions и Consumer Groups — Часть 2
....
Далее уже в 3-й части поговорим про то, что Kafka физически хранит внутри Partition: Record, Offset и append-only log и почему именно так, а не иначе.
—
Telegram | Github | YouTube | X
В первой части разобрались, зачем Kafka вообще нужна.
Теперь переходим к механике, без которой Kafka не была бы Kafka: Partitions и Consumer Groups.
В ней мы разберём вместе c вами:
• зачем топики делят на партиции;
• почему порядок сообщений гарантируется только внутри одной партиции;
• как Producer выбирает, куда записать сообщение;
• почему Key так важен;
• как Consumer Group распределяет нагрузку между обработчиками;
• что будет, если consumer-ов больше, чем partition-ов.
Kafka – from 0 to hero:
• Kafka: архитектура и базовые принципы — Часть 1
• Kafka: Partitions и Consumer Groups — Часть 2
....
Далее уже в 3-й части поговорим про то, что Kafka физически хранит внутри Partition: Record, Offset и append-only log и почему именно так, а не иначе.
—
Telegram | Github | YouTube | X