✨ Собираем домашний сервер для LLM дешевле RTX 3090
Блокировки аккаунтов, ограничения доступа и зависимость от сторонних сервисов заставляют все чаще задумываться о запуске нейросетей локально.
Но здесь возникает другая проблема. Современные нейросети требуют десятки гигабайт видеопамяти, а потребительские видеокарты могут стоить как подержанный автомобиль.
При этом для инференса нейросетей куда важнее объем и пропускная способность видеопамяти, чем поколение архитектуры. А у Tesla V100 с этим все в порядке, до 32 ГБ на карту и 900 ГБ/с пропускной способности. При этом сами карты на вторичке стоят копейки по сравнению с современными RTX.
👉 https://habr.com/ru/articles/1084234/
Блокировки аккаунтов, ограничения доступа и зависимость от сторонних сервисов заставляют все чаще задумываться о запуске нейросетей локально.
Но здесь возникает другая проблема. Современные нейросети требуют десятки гигабайт видеопамяти, а потребительские видеокарты могут стоить как подержанный автомобиль.
При этом для инференса нейросетей куда важнее объем и пропускная способность видеопамяти, чем поколение архитектуры. А у Tesla V100 с этим все в порядке, до 32 ГБ на карту и 900 ГБ/с пропускной способности. При этом сами карты на вторичке стоят копейки по сравнению с современными RTX.
👉 https://habr.com/ru/articles/1084234/