Работа Кафки просто и наглядно
Шикарная визуализация работы Кафки: https://softwaremill.com/kafka-visualisation
И менее шикарная, но тоже пригодится: https://evoura.com/kafka-traffic-visualizer
Мастхев задание, если есть сомнения в работе партиций, ключей, консьюмер групп, репликации между брокерами.
Разбираемся с основами, начинаем здесь:
1. Установите: 1 брокер, 1 консьюмер группа, 1 консьюмер, 2 партиции. Посмотрите, как сообщения распределяются между партициями.
2. Добавьте второго консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
3. Добавьте третьего консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
4. Перенесите третьего консьюмера в отдельную консьюмер группу. Сравните потребление сообщений в двух консьюмер группах.
Теперь понаблюдаем за работой с ключами, переключитесь сюда:
5. Установите 2 партиции, key range = 4. Посмотрите как сообщения с одинаковым ключом распределяются между партициями
6. Установите 3 партиции, потом 4.
7. Установите 6 партиций. Что изменилось? Почему так происходит?
Возвращаемся в основной симулятор:
8. Установите: 2 брокера, фактор репликации - 2, 1 консьюмер группа, 1 консьюмер. Посмотрите, где и как реплицируются партиции и сообщения.
9. Установите: 3 брокера, фактор репликации = 2. Посмотрите, как теперь работает репликация.
10. Установите: фактор репликации = 1. Посмотрите, как теперь работает репликация.
11. Установите: фактор репликации = 3. Обратите внимание, как распределяются между брокерами мастер-партиции (яркие) и их реплики (блеклые)
12. Отключите один брокер, в котором есть хотя бы одна мастер-партиция, кликом по синей иконке. Это имитация недоступности одного из брокеров. Посмотрите, как перераспределились партиции.
На каждом шаге внимательно посмотрите, в какие брокеры и партиции записывается сообщение, и какие консьюмеры его получают. Объясните, почему так. Если объяснить не получается - нужно еще раз перечитать и осмыслить теорию. Ну и сами поиграйтесь с параметрами.
#брокеры
Шикарная визуализация работы Кафки: https://softwaremill.com/kafka-visualisation
И менее шикарная, но тоже пригодится: https://evoura.com/kafka-traffic-visualizer
Мастхев задание, если есть сомнения в работе партиций, ключей, консьюмер групп, репликации между брокерами.
Разбираемся с основами, начинаем здесь:
1. Установите: 1 брокер, 1 консьюмер группа, 1 консьюмер, 2 партиции. Посмотрите, как сообщения распределяются между партициями.
2. Добавьте второго консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
3. Добавьте третьего консьюмера в существующую группу. Посмотрите, как распределяются между ними сообщения.
4. Перенесите третьего консьюмера в отдельную консьюмер группу. Сравните потребление сообщений в двух консьюмер группах.
Теперь понаблюдаем за работой с ключами, переключитесь сюда:
5. Установите 2 партиции, key range = 4. Посмотрите как сообщения с одинаковым ключом распределяются между партициями
6. Установите 3 партиции, потом 4.
7. Установите 6 партиций. Что изменилось? Почему так происходит?
Возвращаемся в основной симулятор:
8. Установите: 2 брокера, фактор репликации - 2, 1 консьюмер группа, 1 консьюмер. Посмотрите, где и как реплицируются партиции и сообщения.
9. Установите: 3 брокера, фактор репликации = 2. Посмотрите, как теперь работает репликация.
10. Установите: фактор репликации = 1. Посмотрите, как теперь работает репликация.
11. Установите: фактор репликации = 3. Обратите внимание, как распределяются между брокерами мастер-партиции (яркие) и их реплики (блеклые)
12. Отключите один брокер, в котором есть хотя бы одна мастер-партиция, кликом по синей иконке. Это имитация недоступности одного из брокеров. Посмотрите, как перераспределились партиции.
На каждом шаге внимательно посмотрите, в какие брокеры и партиции записывается сообщение, и какие консьюмеры его получают. Объясните, почему так. Если объяснить не получается - нужно еще раз перечитать и осмыслить теорию. Ну и сами поиграйтесь с параметрами.
#брокеры