🔲 Про брокер Kafka 🔲

Kafka — это:

1. Брокер сообщений: Kafka позволяет приложениям обмениваться данными, как через очереди сообщений.

2. Платформа потоковой обработки: Она не только пересылает данные, но и позволяет обрабатывать их в реальном времени.

3. Хранилище событий: Kafka может сохранять данные длительное время, что делает её подходящей для анализа и аудита.


👉 Kafka состоит из следующих ключевых компонентов:

◽️ Producer (Производитель)
Приложение, которое отправляет данные (сообщения) в Kafka.
Пример: Сервис интернет-магазина отправляет данные о новых заказах.

◽️ Broker (Брокер)
Узел (сервер) в кластере Kafka, который обрабатывает сообщения.
В кластере может быть несколько брокеров, чтобы обеспечить масштабируемость и отказоустойчивость.

◽️ Topic (Топик)
Логическое место, куда отправляются сообщения.
Сообщения в топике упорядочены и распределены по разделам (partitions).

◽️ Partition (Раздел)
Каждый топик делится на разделы (partitions).
Сообщения в разделе упорядочены (по времени или оффсету).

◽️ Consumer (Потребитель)
Приложение, которое читает данные из топика.
Может быть несколько потребителей, объединённых в группы.

◽️ ZooKeeper (или KRaft)
Система координации, которая управляет метаданными Kafka. В новых версиях ZooKeeper заменён на собственный механизм KRaft.


👉 Особенности Kafka
➕ Высокая производительность: Kafka может обрабатывать миллионы сообщений в секунду.
➕ Масштабируемость: Кластер Kafka можно масштабировать, добавляя новые брокеры.
➕ Долговременное хранение:
Сообщения сохраняются в Kafka на заданное время или пока не удалены вручную.
➕ Устойчивость к сбоям:
Репликация разделов (partitions) между брокерами обеспечивает отказоустойчивость.


#АрхитектураGA


Продолжение завтра 👇