⚡️Яндекс открыл код YTsaurus Flow: задержка данных упала до двух часов
Яндекс выложил на GitHub исходный код YTsaurus Flow — инструмента для потоковой обработки данных в реальном времени. Лицензия та же, что и у основной платформы YTsaurus, открытой в марте 2023 года: Apache 2.0.
Flow — совместная разработка команд инфраструктуры и Яндекс Рекламы. По заявлению разработчиков, инструмент гарантирует отсутствие потерь и дублей данных по умолчанию (принцип «ровно один раз»), а ядро написано на языке C++ для экономии ресурсов на больших объёмах.
На примере одного из сервисов переход на Flow сократил задержку поставки данных для дообучения моделей с десятка-другого часов до двух часов.
Flow встроен в экосистему YTsaurus и использует её хранилище, очереди сообщений и механизм транзакций — отдельно разворачивать не нужно.
https://habr.com/ru/companies/yandex/articles/1087470/
💬 Telegram | 💬 MAX
#новости #selfhosted #автоматизация
Яндекс выложил на GitHub исходный код YTsaurus Flow — инструмента для потоковой обработки данных в реальном времени. Лицензия та же, что и у основной платформы YTsaurus, открытой в марте 2023 года: Apache 2.0.
Flow — совместная разработка команд инфраструктуры и Яндекс Рекламы. По заявлению разработчиков, инструмент гарантирует отсутствие потерь и дублей данных по умолчанию (принцип «ровно один раз»), а ядро написано на языке C++ для экономии ресурсов на больших объёмах.
На примере одного из сервисов переход на Flow сократил задержку поставки данных для дообучения моделей с десятка-другого часов до двух часов.
Flow встроен в экосистему YTsaurus и использует её хранилище, очереди сообщений и механизм транзакций — отдельно разворачивать не нужно.
https://habr.com/ru/companies/yandex/articles/1087470/
💬 Telegram | 💬 MAX
#новости #selfhosted #автоматизация