cerebras.ai/blog/introducing-cerebras-cs-4
Cerebras представила CS-4 — новую AI-систему для сверхбыстрого инференса. Компания заявляет до 30× более высокую скорость, чем у GPU-систем, и свыше 1000 токенов/с даже для моделей больше 10 трлн параметров.
CS-4 построена на трёх wafer-scale процессорах и новой модульной архитектуре Nexus с улучшенными питанием, охлаждением и I/O. Также система поддерживает разделённый инференс: prefill можно выполнять на GPU или ASIC, а генерацию токенов — на CS-4.
Cerebras представила CS-4 — новую AI-систему для сверхбыстрого инференса. Компания заявляет до 30× более высокую скорость, чем у GPU-систем, и свыше 1000 токенов/с даже для моделей больше 10 трлн параметров.
CS-4 построена на трёх wafer-scale процессорах и новой модульной архитектуре Nexus с улучшенными питанием, охлаждением и I/O. Также система поддерживает разделённый инференс: prefill можно выполнять на GPU или ASIC, а генерацию токенов — на CS-4.