Репост из: Юрий Баранчик
"Успех" с запретом иностранного ИИ будет ещё круче, чем запрет Телеги. Часть первая
Сейчас более подробно объясню, что имел в виду своим ранним постом. А то многие не вполне понимают, какого масштаба задачу придется решить. Потому что реальный, полноценный ИИ – это не Яндекс AI 🤦♂️, и не какая-то Алиса🤦♂️, и не какой-нибудь, прости Господи, Гигачат. Чтобы создать полноценный ИИ уровня ChatGPT или DeepSeek, нужны не одна программа или технология, а целая цепочка компетенций — от энергетики до микроэлектроники и фундаментальной науки.
Первое — вычислительные мощности. Современные большие языковые модели обучаются на тысячах специализированных GPU или ускорителей. Для обучения модели уровня GPT-4 требуется десятки тысяч GPU-класса A100/H100 или аналогичных ускорителей, объединённых в дата-центры. Это не бытовые серверы, а суперкомпьютерные кластеры с высокоскоростными сетями, специализированной памятью и сложной системой охлаждения. Мало у кого есть такие мощности в достаточном количестве.
Второе — энергия. Один крупный AI-кластер может потреблять десятки мегаватт, а крупнейшие центры — сотни мегаватт. Для сравнения, это уровень небольшого города или крупного завода. Важна не только генерация, но и стабильность сети, потому что обучение модели длится неделями и требует непрерывной работы. Поэтому страны, которые активно развивают ИИ, одновременно строят новые дата-центры и энергомощности. Это означает, что надо много дешевой энергии. Поскольку у нас уже Китай не хочет покупать энергию из-за высокой стоимости, то перспективы успеха представить нетрудно.
Третье — полупроводники. Без собственных или доступных чипов создать полноценный ИИ почти невозможно. Ключевые чипы сейчас делают считанные компании: NVIDIA, AMD, Google, Huawei и ряд других. Производство таких чипов требует технологического уровня 5-7 нм и ниже, что доступно ограниченному числу фабрик в мире. Если страна (то есть – мы) не имеет доступа к этим технологиям, ей приходится либо покупать готовые ускорители, либо разрабатывать свои, что занимает годы и требует огромных вложений. Если не выйдет ещё какое-то «Роснано», куда ухнули десятки миллиардов с нулевым выходом.
Четвёртое — данные. Большие модели обучаются на огромных массивах текстов, кода, изображений и других данных. Нужны не просто большие объёмы, а разнообразные и качественные данные, плюс инфраструктура для их хранения и обработки. Кроме того, для современных моделей важна дообучающая стадия с участием людей-экспертов, что требует большого числа специалистов и хорошо организованных команд.
Пятое — научная школа и команды разработчиков. Создание крупных моделей — это не только инженерная задача. Нужны специалисты по машинному обучению, математике, распределённым системам, компиляторам, обработке языка, архитектуре нейросетей. Ведущие модели создаются командами в сотни и тысячи человек, и такие команды формируются годами. Даже при наличии денег быстро воспроизвести эту экосистему трудно.
Шестое — программная экосистема. Большие модели опираются на сложные фреймворки, библиотеки, оптимизаторы, инструменты распределённых вычислений. Значительная часть этих инструментов создавалась коллективными усилиями. Если доступ к ним ограничен, приходится писать свои аналоги, изобретая велосипед. Поэтому страны, которые хотят собственный ИИ, должны развивать не только модель, но и всю программную платформу.
Седьмое — экономика. Обучение крупной модели может стоить сотни миллионов долларов, а поддержка инфраструктуры — ещё больше. Поэтому полноценные системы сейчас создают либо крупнейшие корпорации, либо государства с очень большими ресурсами. Даже в Европе нет ни одной своей модели ИИ уровня GPT или DeepSeek, потому что это дорого и сложно. А что есть у нас? То, что есть, мы видим - это либо смешно в плане ИИ, либо отставание на порядки, что, в принципе, одно и тоже.
Вторая часть тут.
Сейчас более подробно объясню, что имел в виду своим ранним постом. А то многие не вполне понимают, какого масштаба задачу придется решить. Потому что реальный, полноценный ИИ – это не Яндекс AI 🤦♂️, и не какая-то Алиса🤦♂️, и не какой-нибудь, прости Господи, Гигачат. Чтобы создать полноценный ИИ уровня ChatGPT или DeepSeek, нужны не одна программа или технология, а целая цепочка компетенций — от энергетики до микроэлектроники и фундаментальной науки.
Первое — вычислительные мощности. Современные большие языковые модели обучаются на тысячах специализированных GPU или ускорителей. Для обучения модели уровня GPT-4 требуется десятки тысяч GPU-класса A100/H100 или аналогичных ускорителей, объединённых в дата-центры. Это не бытовые серверы, а суперкомпьютерные кластеры с высокоскоростными сетями, специализированной памятью и сложной системой охлаждения. Мало у кого есть такие мощности в достаточном количестве.
Второе — энергия. Один крупный AI-кластер может потреблять десятки мегаватт, а крупнейшие центры — сотни мегаватт. Для сравнения, это уровень небольшого города или крупного завода. Важна не только генерация, но и стабильность сети, потому что обучение модели длится неделями и требует непрерывной работы. Поэтому страны, которые активно развивают ИИ, одновременно строят новые дата-центры и энергомощности. Это означает, что надо много дешевой энергии. Поскольку у нас уже Китай не хочет покупать энергию из-за высокой стоимости, то перспективы успеха представить нетрудно.
Третье — полупроводники. Без собственных или доступных чипов создать полноценный ИИ почти невозможно. Ключевые чипы сейчас делают считанные компании: NVIDIA, AMD, Google, Huawei и ряд других. Производство таких чипов требует технологического уровня 5-7 нм и ниже, что доступно ограниченному числу фабрик в мире. Если страна (то есть – мы) не имеет доступа к этим технологиям, ей приходится либо покупать готовые ускорители, либо разрабатывать свои, что занимает годы и требует огромных вложений. Если не выйдет ещё какое-то «Роснано», куда ухнули десятки миллиардов с нулевым выходом.
Четвёртое — данные. Большие модели обучаются на огромных массивах текстов, кода, изображений и других данных. Нужны не просто большие объёмы, а разнообразные и качественные данные, плюс инфраструктура для их хранения и обработки. Кроме того, для современных моделей важна дообучающая стадия с участием людей-экспертов, что требует большого числа специалистов и хорошо организованных команд.
Пятое — научная школа и команды разработчиков. Создание крупных моделей — это не только инженерная задача. Нужны специалисты по машинному обучению, математике, распределённым системам, компиляторам, обработке языка, архитектуре нейросетей. Ведущие модели создаются командами в сотни и тысячи человек, и такие команды формируются годами. Даже при наличии денег быстро воспроизвести эту экосистему трудно.
Шестое — программная экосистема. Большие модели опираются на сложные фреймворки, библиотеки, оптимизаторы, инструменты распределённых вычислений. Значительная часть этих инструментов создавалась коллективными усилиями. Если доступ к ним ограничен, приходится писать свои аналоги, изобретая велосипед. Поэтому страны, которые хотят собственный ИИ, должны развивать не только модель, но и всю программную платформу.
Седьмое — экономика. Обучение крупной модели может стоить сотни миллионов долларов, а поддержка инфраструктуры — ещё больше. Поэтому полноценные системы сейчас создают либо крупнейшие корпорации, либо государства с очень большими ресурсами. Даже в Европе нет ни одной своей модели ИИ уровня GPT или DeepSeek, потому что это дорого и сложно. А что есть у нас? То, что есть, мы видим - это либо смешно в плане ИИ, либо отставание на порядки, что, в принципе, одно и тоже.
Вторая часть тут.