Яндекс выложил в опенсорс YTsaurus Flow, который уже работает в Маркете, Рекламе и антифроде. Самая интересная цифра: в Рекламе через него проходит больше 100 ГБ данных и миллионы событий в секунду.

Flow обрабатывает события сразу по мере поступления, а не ждёт, пока накопится очередная партия. Каждое событие учитывается ровно один раз, без потерь и дублей, а при сбоях нагрузка переезжает на доступные серверы.

В Рекламе технология почти убрала задержку подготовки данных для дообучения части моделей: раньше это занимало больше 10 часов. Маркет использует Flow для оперативной статистики, антифрод ищет подозрительные действия. Лицензия Apache 2.0.

https://habr.com/ru/companies/yandex/articles/1087470
https://github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow

Велкам