AIDAO 2025. Сделили это снова!

О задаче:
Необходимо построить Bird's-Eye View сегментационную карту ограждений по 4 камерам с автономного транспорта. По сути, 2D-оценка проходимости в координатах машины: каждая BEV-ячейка говорит, можно туда ехать или нет.
По уровню сложности/интересности на класс выше всех задач, что я видел на подобных соревнованиях.

Что сделали?
- Взяли сильные енкодеры (convnext, etc) для мультикамерных фич.
- С помощью intrinsics и extrinsics между машиной и камерами перекидывали image-фичи в BEV-пространство.
- В BEV-пространстве сверху поставили UNet-like декодер на обычных свертках.
- Добавили Gaussian supervision: на тонких линиях bce loss работал плохо, поэтому предсказывали более мягкий таргет - размытую область.
а также работали с аугами, фильтрацией и ембеддингами машин.


Ощущения:
Мы лидировали на лидерборде все время, и "убегать" оказалось тревожнее, чем "догонять" - особенно учитывая личные ожидания по перфомансу. Тем не менее, мы поймали свою волну, стабильно усиливались с каждой посылкой и имели запас времени в несколько часов)

github - код решения
Спасибо Даше за блестящую работу! Ее впечатления на itmo news