Репост из: Yet Another Burakov
Работа Кафки просто и наглядно
Шикарная визуализация работы Кафки. Мастхев, если есть сомнения в работе партиций, консьюмер групп, репликации между брокерами.
Держите задание, чтобы извлечь профит:
1. Установите: 1 брокер, 1 консьюмер группа, 1 консьюмер, 2 партиции. Посмотрите, как сообщения распределяются между партициями.
2. Добавьте второго консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
3. Добавьте третьего консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
4. Перенесите третьего консьюмера в отдельную консьюмер группу. Сравните потребление сообщений в двух консьюмер группах.
5. Установите: 2 брокера, фактор репликации - 2, 1 консьюмер группа, 1 консьюмер. Посмотрите, где и как реплицируются партиции и сообщения.
6. Установите: 3 брокера, фактор репликации = 2. Посмотрите, как теперь работает репликация.
7. Установите: фактор репликации = 1. Посмотрите, как теперь работает репликация.
8. Установите: фактор репликации = 3. Обратите внимание, как распределяются между брокерами мастер-партиции (яркие) и их реплики (блеклые)
На каждом шаге внимательно посмотрите, в какие брокеры и партиции записывается сообщение, и какие консьюмеры его получают. Объясните, почему так. Если объяснить не получается - нужно еще раз перечитать и осмыслить теорию. Ну и сами поиграйтесь с параметрами потом.
#брокеры
Шикарная визуализация работы Кафки. Мастхев, если есть сомнения в работе партиций, консьюмер групп, репликации между брокерами.
Держите задание, чтобы извлечь профит:
1. Установите: 1 брокер, 1 консьюмер группа, 1 консьюмер, 2 партиции. Посмотрите, как сообщения распределяются между партициями.
2. Добавьте второго консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
3. Добавьте третьего консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
4. Перенесите третьего консьюмера в отдельную консьюмер группу. Сравните потребление сообщений в двух консьюмер группах.
5. Установите: 2 брокера, фактор репликации - 2, 1 консьюмер группа, 1 консьюмер. Посмотрите, где и как реплицируются партиции и сообщения.
6. Установите: 3 брокера, фактор репликации = 2. Посмотрите, как теперь работает репликация.
7. Установите: фактор репликации = 1. Посмотрите, как теперь работает репликация.
8. Установите: фактор репликации = 3. Обратите внимание, как распределяются между брокерами мастер-партиции (яркие) и их реплики (блеклые)
На каждом шаге внимательно посмотрите, в какие брокеры и партиции записывается сообщение, и какие консьюмеры его получают. Объясните, почему так. Если объяснить не получается - нужно еще раз перечитать и осмыслить теорию. Ну и сами поиграйтесь с параметрами потом.
#брокеры