Видео недоступно для предпросмотра
Смотреть в Telegram
Cerebras показали CS-4 новый сервер для сверхбыстрого запуска ИИ-моделей
Новая система позволяет запускать модели в 2 раза быстрее, а 10-триллионные модели — со скоростью 1000+ токенов в секунду. Внутри каждого CS-4 установлены три WSE 3 Turbo — разогнанные версии оригинального WSE 3. Частоту увеличили с 1,4 до 2,8 ГГц, благодаря чему вдвое выросли пропускная способность памяти и FLOP/s. Именно это и даёт основной прирост скорости.
При этом объём памяти на одном чипе остался прежним — 44 ГБ. Поэтому для запуска заявленных моделей на 10 трлн параметров потребуется несколько десятков CS-4. Отдельно Cerebras выделяет модульную конструкцию: каждый чип находится в отдельном модуле, который подключается к стойке с питанием и охлаждением. Стойки можно установить заранее, а сами вычислительные модули добавлять позже. Плюс такой подход упрощает будущий апгрейд системы.
📢 Bard & Gemini
Новая система позволяет запускать модели в 2 раза быстрее, а 10-триллионные модели — со скоростью 1000+ токенов в секунду. Внутри каждого CS-4 установлены три WSE 3 Turbo — разогнанные версии оригинального WSE 3. Частоту увеличили с 1,4 до 2,8 ГГц, благодаря чему вдвое выросли пропускная способность памяти и FLOP/s. Именно это и даёт основной прирост скорости.
При этом объём памяти на одном чипе остался прежним — 44 ГБ. Поэтому для запуска заявленных моделей на 10 трлн параметров потребуется несколько десятков CS-4. Отдельно Cerebras выделяет модульную конструкцию: каждый чип находится в отдельном модуле, который подключается к стойке с питанием и охлаждением. Стойки можно установить заранее, а сами вычислительные модули добавлять позже. Плюс такой подход упрощает будущий апгрейд системы.
📢 Bard & Gemini