Google начали активную конкуренцию с экосистемой NVIDIA
Google выпустил JAX AI Stack — полноценная альтернатива связке PyTorch + NVIDIA GPU для обучения и запуска LLM.
Суть в том, что сейчас крупные компании уже переходят с CUDA на JAX и Cloud TPU, потому что:
- при тех же деньгах на TPU v5p и Trillium (v6) получается в 1,5–3 раза больше полезных FLOPs;
- масштабирование на десятки тысяч чипов работает «из коробки» без плясок с NCCL и ZeRO;
- стоимость часа обучения моделей от 70B+ на TPU обычно в 2–3 раза ниже, чем на H100/B200.
Кто уже использует:
- xAI (Grok)
- Anthropic (часть обучения Claude)
- Mistral AI, Cohere, Character.AI, Perplexity
- Apple (для своих фундаментальных моделей)
- почти все крупные китайские компании (из-за санкций)
Для разработчиков это пока непривычно.JAX функциональный, а не императивный, как PyTorch. Но после перехода многие говорят, что обратно уже не хочется.
Выбор «GPU или ничего» начинает уходить в прошлое. Теперь есть второй серьёзный вариант, и он уже работает в продакшене у самых заметных игроков.
_______
Источник | #blockchainRF
@F_S_C_P
▪️Генерируй картинки и видео в Mini App:
Flux + Veo 3 + Wan 2.2 + MidJourney v7 + другие
Google выпустил JAX AI Stack — полноценная альтернатива связке PyTorch + NVIDIA GPU для обучения и запуска LLM.
Суть в том, что сейчас крупные компании уже переходят с CUDA на JAX и Cloud TPU, потому что:
- при тех же деньгах на TPU v5p и Trillium (v6) получается в 1,5–3 раза больше полезных FLOPs;
- масштабирование на десятки тысяч чипов работает «из коробки» без плясок с NCCL и ZeRO;
- стоимость часа обучения моделей от 70B+ на TPU обычно в 2–3 раза ниже, чем на H100/B200.
Кто уже использует:
- xAI (Grok)
- Anthropic (часть обучения Claude)
- Mistral AI, Cohere, Character.AI, Perplexity
- Apple (для своих фундаментальных моделей)
- почти все крупные китайские компании (из-за санкций)
Для разработчиков это пока непривычно.JAX функциональный, а не императивный, как PyTorch. Но после перехода многие говорят, что обратно уже не хочется.
Выбор «GPU или ничего» начинает уходить в прошлое. Теперь есть второй серьёзный вариант, и он уже работает в продакшене у самых заметных игроков.
_______
Источник | #blockchainRF
@F_S_C_P
▪️Генерируй картинки и видео в Mini App:
Flux + Veo 3 + Wan 2.2 + MidJourney v7 + другие