Почему G, а не C?
Многие уже давно в курсе, но здесь важно лишний раз подчеркнуть. GPU это не только «про картинку». Сильная сторона GPU — способность к параллельной обработке нескольких массивов данных в реальном времени. Их память имеет в сотни раз более высокую пропускную способность, чем у CPU. Это делает видеокарты несравнимо более эффективными при обсчете сложных задач.
Именно использование графических чипов революционизирует развитие генеративных нейросетей. При обучении и эксплуатации искусственного интеллекта GPU обеспечивают лучший инференс, т.е. скорость обработки запросов и формулирования ответов на естественных языках.
👉 Интересная статья по теме
Новый рынок вычислений и роль GPU
Развитие LLM и RAG привело к росту спроса на видеочипы. Для растущей индустрии их требуются буквально миллионы. Например, кластер для обучения искусственного интеллекта GROK 3, построенный Илоном Маском, включает в себя 100 тыс. чипов H100 от Nvidia. Это, конечно, случай исключительный, но, к примеру, средний GPU-сервер имеет 8 слотов под видеочипы, и они сейчас продаются в массовых количествах.
ИИ-революция заставляет многие компании кардинально пересматривать архитектуру своих систем хранения и обработки данных, и инвестировать в их модернизацию.
Ожидается, что мировой рынок ИИ будет расти в среднем на 37% в год, и к 2030 году достигнет объема в $1 847,5 млрд. Параллельно лидеры рынка видеокарт по экспоненте наращивают как производство, так и мощность чипов. Так, производительность чипа H100 в 16 раз выше, чем у A100, выпущенного двумя годами ранее. В 2023 году Nvidia выпустила 500 тыс. H100, а за 2024 год более чем утроила их производство плюс запустила новую модель — H200.
👉 Интересная статья по теме (🇬🇧 англ).
Облачные сервисы: GPU в аренду (Cloud GPU)
Один чип H100 стоит $30000 — не каждому по карману. Но чтобы разработать и использовать продвинутый ИИ с RAG, не обязательно строить собственный дата-центр. Кластер GPU можно арендовать. Тот же Маск сначала арендовал чипы Nvidia для обучения LLM GROK 2 у Oracle.
Серверы с GPU для «тяжелых» технических задач пользуются всё большим спросом на рынке облачных услуг. Например, в России доля аренды таких серверов для обучения LLM в 2023 году составила 5,4% рынка, а общая выручка операторов сервисов — почти 6,6 млрд руб. (рост в 44% по сравнению с 2022 г.). По прогнозам, к 2030 году доля аренды на рынке GPU-серверов удвоится, а выручка их владельцев достигнет 50,3 млрд руб.
👉 Интересная статья по теме
👉 Еще одна
Open Source LLM
Параллельно растет и предложение Open Source LLM, их порой выпускается по несколько в неделю. Из «горячих» недавних примеров — пресловутый DeepSeek R1 или грядущие европейские аналоги.
Открытые версии больших языковых моделей дают возможность их масштабирования и модификации. Например, PyTorch выпустил библиотеку torchchat, предназначенную для локального инференса LLM. Инструменты типа LangChain и HuggingFace позволяют бесплатно реализовать RAG, предоставив LLM доступ к локальной базе данных пользователя.
Такие системы тоже требуют довольно продвинутых локальных машин, оснащенных новейшими GPU. Хотя некоторые модели работают и на CPU, инференс получается существенно ниже. Так что спрос на GPU в ближайшее время будет расти среди как корпоративных, так и частных пользователей.
#LLM #RAG #GPU
🚀 Подписывайтесь на ТехноТренды — самый экспертный канал об AI, IT и роботизации!
Многие уже давно в курсе, но здесь важно лишний раз подчеркнуть. GPU это не только «про картинку». Сильная сторона GPU — способность к параллельной обработке нескольких массивов данных в реальном времени. Их память имеет в сотни раз более высокую пропускную способность, чем у CPU. Это делает видеокарты несравнимо более эффективными при обсчете сложных задач.
Именно использование графических чипов революционизирует развитие генеративных нейросетей. При обучении и эксплуатации искусственного интеллекта GPU обеспечивают лучший инференс, т.е. скорость обработки запросов и формулирования ответов на естественных языках.
👉 Интересная статья по теме
Новый рынок вычислений и роль GPU
Развитие LLM и RAG привело к росту спроса на видеочипы. Для растущей индустрии их требуются буквально миллионы. Например, кластер для обучения искусственного интеллекта GROK 3, построенный Илоном Маском, включает в себя 100 тыс. чипов H100 от Nvidia. Это, конечно, случай исключительный, но, к примеру, средний GPU-сервер имеет 8 слотов под видеочипы, и они сейчас продаются в массовых количествах.
ИИ-революция заставляет многие компании кардинально пересматривать архитектуру своих систем хранения и обработки данных, и инвестировать в их модернизацию.
Ожидается, что мировой рынок ИИ будет расти в среднем на 37% в год, и к 2030 году достигнет объема в $1 847,5 млрд. Параллельно лидеры рынка видеокарт по экспоненте наращивают как производство, так и мощность чипов. Так, производительность чипа H100 в 16 раз выше, чем у A100, выпущенного двумя годами ранее. В 2023 году Nvidia выпустила 500 тыс. H100, а за 2024 год более чем утроила их производство плюс запустила новую модель — H200.
👉 Интересная статья по теме (🇬🇧 англ).
Облачные сервисы: GPU в аренду (Cloud GPU)
Один чип H100 стоит $30000 — не каждому по карману. Но чтобы разработать и использовать продвинутый ИИ с RAG, не обязательно строить собственный дата-центр. Кластер GPU можно арендовать. Тот же Маск сначала арендовал чипы Nvidia для обучения LLM GROK 2 у Oracle.
Серверы с GPU для «тяжелых» технических задач пользуются всё большим спросом на рынке облачных услуг. Например, в России доля аренды таких серверов для обучения LLM в 2023 году составила 5,4% рынка, а общая выручка операторов сервисов — почти 6,6 млрд руб. (рост в 44% по сравнению с 2022 г.). По прогнозам, к 2030 году доля аренды на рынке GPU-серверов удвоится, а выручка их владельцев достигнет 50,3 млрд руб.
👉 Интересная статья по теме
👉 Еще одна
Open Source LLM
Параллельно растет и предложение Open Source LLM, их порой выпускается по несколько в неделю. Из «горячих» недавних примеров — пресловутый DeepSeek R1 или грядущие европейские аналоги.
Открытые версии больших языковых моделей дают возможность их масштабирования и модификации. Например, PyTorch выпустил библиотеку torchchat, предназначенную для локального инференса LLM. Инструменты типа LangChain и HuggingFace позволяют бесплатно реализовать RAG, предоставив LLM доступ к локальной базе данных пользователя.
Такие системы тоже требуют довольно продвинутых локальных машин, оснащенных новейшими GPU. Хотя некоторые модели работают и на CPU, инференс получается существенно ниже. Так что спрос на GPU в ближайшее время будет расти среди как корпоративных, так и частных пользователей.
#LLM #RAG #GPU
🚀 Подписывайтесь на ТехноТренды — самый экспертный канал об AI, IT и роботизации!