Транзакционная работа с топиками: архитектура и сравнение решений в Apache Kafka и YDB Topics
С 2013 года в Яндексе использовали Kafka для потоковой передачи данных, но со временем она перестала справляться с растущими объёмами, и в 2017 году в компании перешли на собственное решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нём также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия.
Под катом — статья по мотивам доклада с Highload про архитектуру транзакций в системах и интересные для разработчиков детали и нюансы, которые обсуждались на конференции.
С 2013 года в Яндексе использовали Kafka для потоковой передачи данных, но со временем она перестала справляться с растущими объёмами, и в 2017 году в компании перешли на собственное решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нём также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия.
Под катом — статья по мотивам доклада с Highload про архитектуру транзакций в системах и интересные для разработчиков детали и нюансы, которые обсуждались на конференции.