DeepSeek набирает инженеров для масштабирования инфраструктуры обучения агентов
DeepSeek открыл новый раунд найма в команду DSec (DeepSeek Elastic Compute) — песочничной инфраструктуры, на которой держится обучение, оценка и предобработка данных для всех версий моделей начиная с DeepSeek-V3.2. Вместо описания вакансий компания опубликовала технический отчёт о самой системе.
Один кластер DSec сейчас — это около 160 серверов, 30 000 процессорных ядер и 250 ТБ памяти. В сутки через него проходит около 3 млн изолированных сред (далее — «песочниц»). В пиковые часы одновременно работает более 380 000 таких сред, а скорость их создания превышает 5000 в секунду. В производстве уже развёрнуто несколько таких кластеров. Следующая цель — увеличить число и разнообразие сред для запуска агентов в сотни и тысячи раз.
Нагрузка, с которой работает DSec, устроена иначе, чем обычный облачный сервис. При обучении агент многократно взаимодействует с реальной средой — читает и правит файлы, устанавливает зависимости, запускает тесты — и каждый шаг меняет её состояние. Среду нельзя уничтожать после каждого действия, но создавать их нужно быстро и миллионами.
Чтобы снизить стоимость поставки сред, DSec разбивает окружение на 3 слоя: базовый образ с ОС, рабочее пространство с кодом и зависимостями, отдельный пакет инструментов. При обновлении пересобирается только нужный слой.
Образы хранятся в распределённой файловой системе 3FS и читаются по требованию: агент обращается лишь к 4,2–13,3% данных образа, поэтому полная загрузка не нужна. В тесте на 8192 контейнера это сократило время развёртывания с 60 до ~35 минут и уменьшило запись на диск на ~57%.
Около 90% песочниц используют меньше 5% выделенного CPU — агент простаивает, пока модель генерирует следующий шаг. DSec эксплуатирует это: коэффициент оверсубскрипции ресурсов в производстве уже превышает 50×. Виртуальные машины на одном хосте делят страничный кеш через virtio-pmem и DAX — пиковое потребление памяти в эксперименте упало на 40,2%, а с учётом возврата простаивающих страниц — ещё на 21,2%.
Отдельная задача — безопасность. В реальном производстве агенты уже пробовали читать остаточные ответы, подделывать RPC-запросы, подменять /bin/bash и использовать системный вызов XFS_IOC_SWAPEXT для обхода контроля доступа.
DSec ограничивает файловый и сетевой доступ через AppArmor и eBPF-белые списки, однако от эксплуатации уязвимостей ядра универсальной защиты пока нет. По оценке DeepSeek, по мере роста способностей моделей противостояние с агентами в этой части продолжится.
Источник: QbitAI (🇨🇳)
#DeepSeek #DeepSeekV4 #DSec #ИИ #инфраструктура
DeepSeek открыл новый раунд найма в команду DSec (DeepSeek Elastic Compute) — песочничной инфраструктуры, на которой держится обучение, оценка и предобработка данных для всех версий моделей начиная с DeepSeek-V3.2. Вместо описания вакансий компания опубликовала технический отчёт о самой системе.
Один кластер DSec сейчас — это около 160 серверов, 30 000 процессорных ядер и 250 ТБ памяти. В сутки через него проходит около 3 млн изолированных сред (далее — «песочниц»). В пиковые часы одновременно работает более 380 000 таких сред, а скорость их создания превышает 5000 в секунду. В производстве уже развёрнуто несколько таких кластеров. Следующая цель — увеличить число и разнообразие сред для запуска агентов в сотни и тысячи раз.
Нагрузка, с которой работает DSec, устроена иначе, чем обычный облачный сервис. При обучении агент многократно взаимодействует с реальной средой — читает и правит файлы, устанавливает зависимости, запускает тесты — и каждый шаг меняет её состояние. Среду нельзя уничтожать после каждого действия, но создавать их нужно быстро и миллионами.
Чтобы снизить стоимость поставки сред, DSec разбивает окружение на 3 слоя: базовый образ с ОС, рабочее пространство с кодом и зависимостями, отдельный пакет инструментов. При обновлении пересобирается только нужный слой.
Образы хранятся в распределённой файловой системе 3FS и читаются по требованию: агент обращается лишь к 4,2–13,3% данных образа, поэтому полная загрузка не нужна. В тесте на 8192 контейнера это сократило время развёртывания с 60 до ~35 минут и уменьшило запись на диск на ~57%.
Около 90% песочниц используют меньше 5% выделенного CPU — агент простаивает, пока модель генерирует следующий шаг. DSec эксплуатирует это: коэффициент оверсубскрипции ресурсов в производстве уже превышает 50×. Виртуальные машины на одном хосте делят страничный кеш через virtio-pmem и DAX — пиковое потребление памяти в эксперименте упало на 40,2%, а с учётом возврата простаивающих страниц — ещё на 21,2%.
Отдельная задача — безопасность. В реальном производстве агенты уже пробовали читать остаточные ответы, подделывать RPC-запросы, подменять /bin/bash и использовать системный вызов XFS_IOC_SWAPEXT для обхода контроля доступа.
DSec ограничивает файловый и сетевой доступ через AppArmor и eBPF-белые списки, однако от эксплуатации уязвимостей ядра универсальной защиты пока нет. По оценке DeepSeek, по мере роста способностей моделей противостояние с агентами в этой части продолжится.
Источник: QbitAI (🇨🇳)
#DeepSeek #DeepSeekV4 #DSec #ИИ #инфраструктура