DeepSchool

⚫️Как выжать максимум из модели детекции на видео: 7 идей, которые вы еще не пробовали.

Взять датасет побольше и дообучить модель? Да, но в этой статье расскажем об альтернативных вариантах улучшения модели.
Трекинг объектов — это набор алгоритмов, которые связывают одни и те же объекты на соседних кадрах видео. Трекинг работает в тесной связке с детектором, поэтому качество первого напрямую зависит от точности второго. Ошибки детектора усложняют работу трекинга, но хороший трекер может справиться даже с неидеальными детекциями.

Шаг 0. Анализ ошибок модели детекции.
Между кадрами моргает детектор? Много кратковременных ложных предсказаний? Вам однозначно нужен алгоритм фильтрации, каким может выступить трекинг. Для быстрого старта подойдет библиотека BoxMOT. В ней реализованы алгоритмы, помогающие стабилизировать слабые детекции.

Итак, связали детектор и трекер. Но все равно не работает.

Шаг 1. Локализация проблемных мест.
Отрисуйте предсказания.
Объекта нет среди детекций → проблема, скорее всего, в детекторе.
Детекция есть, но трек обрывается → смотрим, как трекер работает со временной потерей объекта.
Объект остаётся в кадре, но получает другой ID → проблема в ассоциации.
Ошибки появляются при окклюзии → проверяем, насколько хорошо трекер использует информацию о движении и внешнем виде объекта.

Этот шаг помогает понять, что именно следует исправить в общем пайплайне.

Шаг 2. Проверка confidence детектора.
При окклюзии уверенность детектора может упасть, например, с 0.9 до 0.3. Если использовать порог уверенности детекции 0.5, такая детекция исчезнет ещё до трекера. Объект пропадёт, вместе с ним может оборваться и трек.
ВoostTrack предлагает простой приём: сначала сопоставлять уверенные детекции, затем использовать менее уверенные боксы для восстановления существующих треков.
Поэтому при частых пропусках объектов нужно проверить, что происходит с детекциями с низким confidence, и настроить порог.

При низком пороге могут появиться «ложняки». Да, но они кратковременные.

Шаг 3. Настройка инициализации треков.
Можно отрисовывать трек не сразу, а при нескольких подряд идущих детекциях. Этот параметр обычно называется min_hits, измеряется в кадрах. Обычно 3 кадров в видео 30 FPS хватает. Но учитывайте скорость объектов, вращение камеры, FPS видео для своей задачи. Также подредактируйте код, чтобы не отрисовывать те треки, которые пока не прошли эту проверку.

Шаг 4. Борьба с окклюзией.
Объект может исчезнуть на несколько кадров из-за окклюзии, а потом снова появиться. Если за это время трекер уже удалил старый трек, старый объект получит новый ID.
Здесь помогает настройка track_buffer: некоторое время трекер продолжает хранить информацию о потерянном объекте и пытается связать его с новой детекцией.
Если окклюзии в видео длинные, этот параметр стоит проверить в первую очередь. Но увеличивать его бесконечно нельзя: слишком большой буфер повышает риск вернуть старый ID новому объекту.

Шаг 5. Компенсация движения камеры
Если камера поворачивается или перемещается, координаты всех объектов меняются одновременно при условии, что нет дисторсии. Для трекера это может выглядеть как движение самих объектов.
Компенсация движения камеры (Camera Motion Compensation) позволяет оценить, как сдвинулось изображение целиком, и учитывать это при трекинге объектов. Особенно полезно для спортивных трансляций, PTZ-камер и видео с дронов.
Из готовых решений можно взять идею из BoT-SORT: компенсировать движение камеры перед ассоциацией, а затем использовать модель движения и ReID.

Шаг 6. Выбор алгоритма трекинга.
Алгоритмы отличаются друг от друга применимостью к конкретной задаче.
ByteTrack — базовый вариант, особенно если проблема связана с потерей слабых детекций.
BoT-SORT можно попробовать при движении камеры и частых пересечениях объектов.
OC-SORT полезен для сцен с резкими изменениями направления движения.
Поэтому здесь нужен эксперимент — прогнать один и тот же детектор через несколько трекеров и сравнить не только общий score, но и конкретные ошибки (fragmentation и ID switch).
Не бойтесь экспериментировать и сочетать сильные стороны каждого алгоритма в своём пайплайне 💪🏻

Шаг 7. Что такое уверенность детектора?
Представим bbox с confidence 0.3. Сам по себе это слабый сигнал.
Но если детекция появилась именно там, где мы ожидаем увидеть существующий трек, и совпадает с ним по положению, размеру и движению, её уже будет нелогично выбрасывать.
В BoostTrack используется похожая идея: оценка детекции корректируется с учётом её соответствия существующему треку.
То есть к вопросу: «Насколько уверен детектор?» добавляем: «Насколько эта детекция соответствует тому, что мы ожидаем увидеть?»

Итого: без дообучения модели пофиксили FP и стабилизировали детекции.

На курсе CV Rocket также разберем, как увеличить TP с помощью трекера и другие адаптации под ваши задачи. Присоединяйтесь до 15 сентября со скидкой 20%!

Авторы: Башаров Илья, Холодов Семен (НКБТех)

DeepSchool Digest⚡

Собрали для вас материалы за июнь и июль в одном посте ☀️

Как собрать хорошие траектории для обучения LLM-агента — LLM-агенту недостаточно просто отвечать текстом: важно научить его выбирать действия и работать с инструментами. Разобрали, какие данные здесь нужны, и почему одного SFT обычно мало.

Late chunking — рассказали, как улучшить векторный поиск в RAG без сложной нарезки чанков.

Reinforcement Learning — подготовили пошаговый план изучения и полезные ресурсы.

Genie family — подготовили серию постов о современных world-моделях и 3D-генерациях мира.
И начали с семейства Genie от Deepmind.

FlashAttention-3 и FlashAttention-4 — разобрали, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell, и какие архитектурные изменения вновь ускорили attention.

Как свёрточные сети меняли компьютерное зрение — разобрали эволюцию CNN как последовательность инженерных ответов на ограничения предыдущих поколений моделей.

FlashAttention-3 и FlashAttention-4 — пример того, как алгоритмы нужно заново адаптировать под каждое поколение GPU 🚀

В новой статье разбираем, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell и какие архитектурные изменения вновь ускорили attention.

Вы узнаете:

• почему на H100 FA-2 просел по утилизации GPU
• как Tensor Memory Accelerator и асинхронные Tensor Cores ускорили FA-3
• зачем нужна warp-специализация
• как matmul и softmax удалось выполнять параллельно
• что даёт FP8 с контролем ошибок
• и почему для Blackwell снова понадобилась перестройка во FlashAttention-4

Читайте разбор по ссылке! 👈🏼

Genie family

Сегодня всё больше внимания уделяется «world-моделям». Они способны не только генерировать красивые кадры, но и контролировать физичность, геометрию, создавать интерактивную среду и реальные симуляции.

✅ Мы подготовили серию постов о современных world-моделях и 3D-генерациях мира.
И начнём с семейста Genie от Deepmind. Посмотрим, с чего всё начиналось и как за пару лет с простой симуляции в маленьком разрешении 2D-структур эти модели превратились в высококачественные генераторы симуляционных сред.

Читайте статью по ссылке! 👈🏼

Reinforcement Learning: пошаговый план изучения

Reinforcement Learning (RL) лежит в основе многих ключевых достижений современного ИИ: обучение роботов локомоции и манипуляции, пост-обучение языковых моделей (RLHF, GRPO). Сегодня понимание RL — нужный навык для широкого круга ML-инженеров. Чтобы помочь прокачаться в этой области, мы подготовили пошаговый план изучения и полезные ресурсы. Welcome 🙂

⚫️План изучения

1. Основы теории вероятностей
RL опирается на аппарат теории вероятностей и стохастических процессов. Фундамент для понимания: условные вероятности, математическое ожидание и его свойства, основы стохастических процессов. Изучать эти темы лучше по мере необходимости: столкнулись с importance sampling — сразу разбираемся с этой концепцией.
Ресурсы: MML (главы по вероятностям и статистике); любой базовый курс теории вероятностей.

2. Классический RL
Можно начать с формализма марковских процессов принятия решений (MDP): состояния, действия, функция перехода и вознаграждения, дисконтирование. И затем перейти к табличным методам: dynamic programming, Monte Carlo, temporal-difference learning, Q-learning, SARSA. Рекомендуем решать задачи из книги или курса — это критически важно для понимания.
Ресурсы: S&B (Part I) — фундаментальный учебник по RL; Stanford CS234 — академический курс с задачами.

3. Deep Reinforcement Learning
Когда пространство состояний становится слишком большим для табличных методов, применяется аппроксимация функций с помощью нейронных сетей. Ключевые темы: Deep Q-Network (DQN), policy gradient методы, actor-critic архитектуры, методы на основе модели (model-based RL). Если нужно подтянуть основы Deep Learning, рекомендуем открытую книгу Understanding Deep Learning.
Ресурсы: Deep RL (CMU) — курс от Katerina Fragkiadaki с современными методами deep RL; Deep RL (UC Berkeley) — курс от Sergey Levine с открытыми домашними заданиями. Рекомендуем выполнить все практические задания.

4. Policy Gradient и современные алгоритмы
Для практического применения RL необходимо глубокое понимание policy gradient методов. Ключевые алгоритмы: REINFORCE, TRPO, PPO — стандарт в робототехнике и RLHF; GRPO — активно применяется в пост-тренировке LLM. Важно не только знать алгоритмы, но и понимать, почему они работают: какие допущения лежат в их основе и какие практические трюки обеспечивают устойчивое обучение.
Ресурсы: S&B (Part II); лекции из курсов CMU и UC Berkeley по policy gradient.

5. Современный RL и применения
После основ — обзор современных направлений: RLHF для языковых моделей, применение в робототехнике, мультиагентный RL, offline RL, model-based RL. Ценным будет понимание практических «трюков», которые стоят за успешными алгоритмами.
Ресурсы: PML:AT (Kevin P. Murphy) — современные работы в RL и практика к языковым моделям; Substack Cameron Wolf — разборы алгоритмов и их применение к LLM доступным языком.

6. Практика
Мы верим, что действительно глубокое понимание невозможно без практического опыта. Рекомендуем два направления в зависимости от области интересов:
робототехника: курс LeRobot (Hugging Face) с фокусом на RL-часть; самостоятельное обучение реального или симулированного манипулятора;
языковые модели: самостоятельная реализация RLHF (CS336).

✅Полезные ресурсы
Reinforcement Learning: An Introduction (S&B) — Sutton & Barto
Stanford CS234: Reinforcement Learning
Deep RL (CMU) — Katerina Fragkiadaki
Deep RL (UC Berkeley) — Sergey Levine
Probabilistic Machine Learning: Advanced Topics (PML:AT) — Kevin P. Murphy
LeRobot курс (Hugging Face)
Stanford CS336: Language Modeling from Scratch, assignment 5
Substack Cameron Wolf

Автор: Шамиль Мамедов
Ревьюер: Антон Наумов

Помимо робототехники и LLM, RL используется ещё и для обучения LLM-агентов. Об этом глубже рассказываем на нашем курсе по LLM для ML/DL-инженеров. Также там разбираем fine-tuning, alignment, ускорение и деплой LLM. Новый поток стартует 30 июня, а до 21 июня вы можете присоединиться со скидкой 20%!