🎮 Самый неоднозначный девайс NVIDIA
Брал я тут в марте 7шт. DGX Spark.
Очень хотелось попробовать этот девайс давно - ещё со старта хотел его купить. Но появляться по вменяемым ценам они начали только сейчас.
NVIDIA обещала крутую производительность в FP4.
Но что мы имеем по факту?
1. Очень медленную unified memory LPDDR5x.
2. Коробки очень горячие и уходят в троттлинг. Temperature cap стоит где-то на 70C.
3. DGX Spark инференсит Qwen3.6-35B-A3B в NVFP4 со спекулятивным декодингом DFlash со скоростью 100-200 tok/s. на оптимизированном VLLM с кастомными ядрами под GB10.
Соответственно ШЕСТЬ DGX Spark в реальности у меня дают 700-1500 tok/s.
Для сравнения - ОДИН GPU RTX Pro 6000 Blackwell Workstation даёт 1000-1200 tok/s.
Нагрузка 1-в-1 одинаковая.
Простая математика
RTX Pro 6000 Blackwell стоит примерно 1-1.1M руб.
DGX Spark стоит ~500к руб.
6x DGX Spark = 3M руб. и это в лучшем случае 1500 tok/s, но 768GB памяти на скорости 273 GB/s.
Рабочая станция с 2x RTX Pro 6000 Blackwell - те же 3M руб.(дада, можно и дешевле) и 2200 tok/s, а это всего лишь 192GB VRAM на скорости 1792 GB/s.
И это я ещё не говорю про то, как в реальности работают все эти кольца из 200Gbit/s линков между тремя спарками. Спойлер: плохо.
Выводы
DGX Spark проигрывают примерно везде и по всем фронтам. Обещания NVIDIA - пустой маркетинг.
Коробки вообще никому не рекомендую даже для экспериментов, даже с QLoRa. Для трейна не годится. Для инференса - тоже.
Лучше за те же деньги собрать ПК с игровой видеокартой.
Единственное годное применение - тихий локальный AI-ассистент для дома. Вот только вопрос - сколько он прослужит с такими рабочими температурами.
Брал я тут в марте 7шт. DGX Spark.
Очень хотелось попробовать этот девайс давно - ещё со старта хотел его купить. Но появляться по вменяемым ценам они начали только сейчас.
NVIDIA обещала крутую производительность в FP4.
Но что мы имеем по факту?
1. Очень медленную unified memory LPDDR5x.
2. Коробки очень горячие и уходят в троттлинг. Temperature cap стоит где-то на 70C.
3. DGX Spark инференсит Qwen3.6-35B-A3B в NVFP4 со спекулятивным декодингом DFlash со скоростью 100-200 tok/s. на оптимизированном VLLM с кастомными ядрами под GB10.
Соответственно ШЕСТЬ DGX Spark в реальности у меня дают 700-1500 tok/s.
Для сравнения - ОДИН GPU RTX Pro 6000 Blackwell Workstation даёт 1000-1200 tok/s.
Нагрузка 1-в-1 одинаковая.
Простая математика
RTX Pro 6000 Blackwell стоит примерно 1-1.1M руб.
DGX Spark стоит ~500к руб.
6x DGX Spark = 3M руб. и это в лучшем случае 1500 tok/s, но 768GB памяти на скорости 273 GB/s.
Рабочая станция с 2x RTX Pro 6000 Blackwell - те же 3M руб.(дада, можно и дешевле) и 2200 tok/s, а это всего лишь 192GB VRAM на скорости 1792 GB/s.
И это я ещё не говорю про то, как в реальности работают все эти кольца из 200Gbit/s линков между тремя спарками. Спойлер: плохо.
Выводы
DGX Spark проигрывают примерно везде и по всем фронтам. Обещания NVIDIA - пустой маркетинг.
Коробки вообще никому не рекомендую даже для экспериментов, даже с QLoRa. Для трейна не годится. Для инференса - тоже.
Лучше за те же деньги собрать ПК с игровой видеокартой.
Единственное годное применение - тихий локальный AI-ассистент для дома. Вот только вопрос - сколько он прослужит с такими рабочими температурами.