Инференс LLM и рост потребления GPU
Большие языковые модели (#LLM) и технологии генерации с дополненной выборкой (Retrieval-Augmented Generation, #RAG) на наших глазах меняют технологический ландшафт. Требования к вычислительным мощностям растут. В результате прогресс программных средств (нейросетей) тесно смыкается с проблемой насыщения рынка продвинутым «железом». Особую актуальность приобретают (второй раз после бума биткойнов) графические процессоры — #GPU. Еще недавно видеокарта была необязательным приложением к компьютеру, всех больше интересовали возможности центрального процессора (CPU). Теперь именно видеочипы — основной драйвер развития технологий.
На картинке — график роста размеров больших языковых моделей за последние шесть лет. Как откликаются на это производители чипов?
Подробности читайте ниже ⬇️⬇️⬇️
Большие языковые модели (#LLM) и технологии генерации с дополненной выборкой (Retrieval-Augmented Generation, #RAG) на наших глазах меняют технологический ландшафт. Требования к вычислительным мощностям растут. В результате прогресс программных средств (нейросетей) тесно смыкается с проблемой насыщения рынка продвинутым «железом». Особую актуальность приобретают (второй раз после бума биткойнов) графические процессоры — #GPU. Еще недавно видеокарта была необязательным приложением к компьютеру, всех больше интересовали возможности центрального процессора (CPU). Теперь именно видеочипы — основной драйвер развития технологий.
На картинке — график роста размеров больших языковых моделей за последние шесть лет. Как откликаются на это производители чипов?
Подробности читайте ниже ⬇️⬇️⬇️