Утечка SemiAnalysis: за 1,5 года OpenAI не создала новой фронтирной модели
С момента ухода Ильи Суцкевера, с мая 2024 OpenAI не завершили ни одного успешного полномасштабного предобучения для новой фронтирной модели.
Об этом пишет SemiAnalysis и говорит, что это не просто задержка — технический барьер, который OpenAI не преодолел.
Какие причины по версии SemiAnalysis?
1. Проблемы с конвергенцией — модель не достигает нужного качества на больших кластерах. Предыдущие запуски, вероятно, провалились или были прерваны.
2. OpenAI переориентировалась на пост-обучение. Но это не заменяет новое предобучение — оно строится на старой базе данных и вычислений.
3. OpenAI не расширяла кластеры NVIDIA с мая 2024-го. Видна только активность по fine-tuning и RL, но не по предобучению. Они сэкономили ~30% на NVIDIA благодаря конкуренции от TPU, но TPUs ещё не развернуты.
В отличие от OpenAI, Google успешно обучил Gemini 3 целиком на TPUv7, который даёт ~44% снижения TCO по сравнению с NVIDIA GB200, и до 52% для внешних клиентов.
SemiAnalysis подчёркивает, что 3D-торус в TPU важнее микроархитектуры, и Google лидирует в инфраструктуре.
OpenAI, возможно, купит TPU как и Anthropic, Meta(запрещена в России) и xAI, но пока полагается на NVIDIA и AWS.
SemiAnalysis считает, что GPT-5— это пост-тренинг на старой базе GPT-4o. Нет новой предобученной основы, которая бы включала свежие данные и масштабирование FLOPs.
OpenAI не комментировала этот анализ напрямую, но в подкастах, например, с Ноамом Брауном, признавали, что масштабирование предобучения становится дороже и сложнее.
_______
Источник | #blockchainRF
@F_S_C_P
▪️Генерируй картинки и видео в Mini App:
Flux + Veo 3 + Wan 2.2 + MidJourney v7 + другие
С момента ухода Ильи Суцкевера, с мая 2024 OpenAI не завершили ни одного успешного полномасштабного предобучения для новой фронтирной модели.
Об этом пишет SemiAnalysis и говорит, что это не просто задержка — технический барьер, который OpenAI не преодолел.
Какие причины по версии SemiAnalysis?
1. Проблемы с конвергенцией — модель не достигает нужного качества на больших кластерах. Предыдущие запуски, вероятно, провалились или были прерваны.
2. OpenAI переориентировалась на пост-обучение. Но это не заменяет новое предобучение — оно строится на старой базе данных и вычислений.
3. OpenAI не расширяла кластеры NVIDIA с мая 2024-го. Видна только активность по fine-tuning и RL, но не по предобучению. Они сэкономили ~30% на NVIDIA благодаря конкуренции от TPU, но TPUs ещё не развернуты.
В отличие от OpenAI, Google успешно обучил Gemini 3 целиком на TPUv7, который даёт ~44% снижения TCO по сравнению с NVIDIA GB200, и до 52% для внешних клиентов.
SemiAnalysis подчёркивает, что 3D-торус в TPU важнее микроархитектуры, и Google лидирует в инфраструктуре.
OpenAI, возможно, купит TPU как и Anthropic, Meta(запрещена в России) и xAI, но пока полагается на NVIDIA и AWS.
SemiAnalysis считает, что GPT-5— это пост-тренинг на старой базе GPT-4o. Нет новой предобученной основы, которая бы включала свежие данные и масштабирование FLOPs.
OpenAI не комментировала этот анализ напрямую, но в подкастах, например, с Ноамом Брауном, признавали, что масштабирование предобучения становится дороже и сложнее.
_______
Источник | #blockchainRF
@F_S_C_P
▪️Генерируй картинки и видео в Mini App:
Flux + Veo 3 + Wan 2.2 + MidJourney v7 + другие