Пока в медиа кипят страсти и народ «хоронит» Nvidia, умельцы вовсю экспериментируют с DeepSeek, запуская его на чем только можно.
Пользователь X Алекс Чима поделился постом, в котором он запускает DeepSeek R1 на семи Mac mini M4 Pro и MacBook Pro M4 Max с 496 ГБ унифицированной памяти. Он сделал это, используя распределенный вывод EXO Labs и 4-битное квантование, и обеспечил точность FP4. Ну да, точность невысокая, зато и памяти надо немного — для локальных задач самое то. Причем дальше Алекс планирует достичь точности FP8, но для этого ему потребуется уже >700 ГБ унифицированной памяти.
Другой X-юзер Вайбхав Шривастав сумел запустить версию DeepSeek R1 на 1,58 бит в веб-браузере без подключения к интернету и добился скорости 60 токенов в секунду при поддержке WebGPU.
Ну а пример, где DeepSeek запускается на смартфоне, наверно, уже все соцсети обошел.
Но это экзотика, хотя смысл в таких экспериментах тоже есть — они проверяют на прочность пределы квантования слоёв MoE модели без утраты ее работоспособности.
А вот ребята из Umsloth «подковали» китайскую «блоху» так, чтобы она могла работать даже на среднем домашнем ПК. В их версии для запуска 1,58-битного R1 вообще не нужна видеопамять (GPU), достаточно 20 ГБ оперативной памяти (CPU), но это может быть медленно. Для оптимальной производительности рекомендуют сумму VRAM+ОЗУ не менее 80 ГБ.
🤔 Стоит ли в связи с этим хоронить Nvidia? Отнюдь нет. И напрасно ее упрекают в гигантомании. Да, китайские новинки (кстати, вот полный список релизов, не дипсиком единым) выявили утопичность ставки на рост потребления GPU. Как выяснилось, для развития AI этого вовсе не требуется. Но другой тренд — на демократизацию платформ для LLM и отвязку моделей от облачных сервисов — компания уловила точно, выйдя на рынок с проектом Nvidia Digits.
Так что самое интересное только начинается. Мы еще увидим небо в алмазах архитектуры, которые будут способны запускать LLM на наручных часах. Но с другой стороны, мощные настольные компьютеры для сложных AI-моделей тоже будут востребованы. Больше платформ хороших и разных, в выигрыше от этой «битвы технологий» будем в первую очередь мы с вами.
🚀 Подписывайтесь на ТехноТренды — самый экспертный канал об AI, IT и роботизации!
Пользователь X Алекс Чима поделился постом, в котором он запускает DeepSeek R1 на семи Mac mini M4 Pro и MacBook Pro M4 Max с 496 ГБ унифицированной памяти. Он сделал это, используя распределенный вывод EXO Labs и 4-битное квантование, и обеспечил точность FP4. Ну да, точность невысокая, зато и памяти надо немного — для локальных задач самое то. Причем дальше Алекс планирует достичь точности FP8, но для этого ему потребуется уже >700 ГБ унифицированной памяти.
Другой X-юзер Вайбхав Шривастав сумел запустить версию DeepSeek R1 на 1,58 бит в веб-браузере без подключения к интернету и добился скорости 60 токенов в секунду при поддержке WebGPU.
Ну а пример, где DeepSeek запускается на смартфоне, наверно, уже все соцсети обошел.
Но это экзотика, хотя смысл в таких экспериментах тоже есть — они проверяют на прочность пределы квантования слоёв MoE модели без утраты ее работоспособности.
А вот ребята из Umsloth «подковали» китайскую «блоху» так, чтобы она могла работать даже на среднем домашнем ПК. В их версии для запуска 1,58-битного R1 вообще не нужна видеопамять (GPU), достаточно 20 ГБ оперативной памяти (CPU), но это может быть медленно. Для оптимальной производительности рекомендуют сумму VRAM+ОЗУ не менее 80 ГБ.
🤔 Стоит ли в связи с этим хоронить Nvidia? Отнюдь нет. И напрасно ее упрекают в гигантомании. Да, китайские новинки (кстати, вот полный список релизов, не дипсиком единым) выявили утопичность ставки на рост потребления GPU. Как выяснилось, для развития AI этого вовсе не требуется. Но другой тренд — на демократизацию платформ для LLM и отвязку моделей от облачных сервисов — компания уловила точно, выйдя на рынок с проектом Nvidia Digits.
Так что самое интересное только начинается. Мы еще увидим небо в алмазах архитектуры, которые будут способны запускать LLM на наручных часах. Но с другой стороны, мощные настольные компьютеры для сложных AI-моделей тоже будут востребованы. Больше платформ хороших и разных, в выигрыше от этой «битвы технологий» будем в первую очередь мы с вами.
🚀 Подписывайтесь на ТехноТренды — самый экспертный канал об AI, IT и роботизации!