Между стабильностью и скоростью: Redpanda или Kafka?
Своим мнением на этот счёт поделился член ПК Data Internals X и спикер HighLoad ++ 2024, Петр Гуринов:
Своим мнением на этот счёт поделился член ПК Data Internals X и спикер HighLoad ++ 2024, Петр Гуринов:
Интересно, как поделились голоса: 40% и 60%. Хотя я и отдал свой голос за Redpanda, ожидал большего разрыва в пользу Kafka.
В проде мы с командой по-прежнему используем Kafka и постепенно переезжаем на KRaft. Остаёмся на ней, потому что за годы работы накопили большой опыт её поддержки: от эксплуатации и тюнинга до мониторинга и быстрого решения инцидентов. А главное — мы любим Kafka за большое комьюнити и зрелую экосистему.
Но для новых продуктов руки «чешутся» запуститься с Redpanda: один бинарный файл, меньше накладных расходов и более эффективное использование ресурсов. По бенчмаркам она выдаёт более высокую скорость и низкую задержку. Из дополнительных плюсов — совместимость с Kafka API.
Но перед тем как смело идти в прод с Redpanda, нужна экспертиза, чтобы уверенно закрывать SLA и обеспечивать доступность без сюрпризов. И вот мы оказываемся в ситуации «палка о двух концах»: без настоящего опыта экспертиза не растёт, а без экспертизы тащить в прод — опасно.
Компромисс: пилот на некритичном контуре и релиз с возможностью быстрого отката.
А как у вас идет переход на Kafka Kraft? Или уже смигрировали на Redpanda?