Запрещёнка выкатила SAM 2 для сегментации объектов на картинках и видео.

Для выделения вещи достаточно кликнуть в одном месте, или задать границу маской/прямоугольной областью. Скорость сегментации и трекинг маски лучше, чем у альтернатив. Также SAM 2 обладает сессионной памятью, позволяющей отслеживать объекты временно выпавшие из кадра.

Отлично себя показывает с футажом, на котором модель не учили (zero-shot), и реалтайм задачах (стриминг).

Вместе с моделью разных размеров в опенсорс идёт и датасет SA-V, на котором тренили: 51к видео, 600к масок, аннотации в комплекте.

Анонс
Демо
Гитхаб