Big Ledovsky | AI изнутри

Разбирался в текущих железках NVIDIA

Моя текущая роль предполагает отвечать на вопросы в духе "а какое железо и в каком количестве нам реально нужно" 🧐

На выходных я решил почитать сайт NVIDIA и получше разобраться в каком виде продаются карты. И обнаружил, что их сайт откровенно вводит людей в заблуждение. Абсолютно все у них называется платформой (неважно что это на самом деле 😐), а некоторые продукты (например DGX B300 NVL8, или все H200) скрыты из основных каталогов. Потребовалось посидеть с клодом несколько часов, чтобы понять что к чему

💎 Не вдаваясь глубоко в детали

• Есть отдельные серверные карты RTX 6000 PRO и 4500 PRO. У них много памяти, но они не поддерживают NVLink и поставляются только PCIe. Подходят для инференса

• Карты поколения Blackwell B200/300 идут в серверах по 8 карт или в стойках по 72. У них нет PCIe версий, а есть только т.н. SXM версия на специальной плате со встроенными NVLink. В таких серверах могут быть процы от NVIDIA (Grace CPU, например в DGX GB300 NVL8), они ускоряют обмен RAM память GPU

• H100/200, карты прошлого поколения Hopper, можно купить в версиях с PCIe. Поэтому бывают сервера, например, на 4 карты. NVLink подключается отдельно и соединяет карты напрямую друг с другом (не через плату как в SXM)

• NVIDIA делает железо в двух версиях. Первая - это полностью готовые сервера, которые идут под брендом DGX. Вторая - условно запчасти в виде карт и плат, обвязку для которых делают так называемые OEM производители, вроде Gigabyte. Например: питание, охлаждение и другое. OEM версия серверов на 8 карт продается под брендом HGX

• Карты нового поколения Rubin с точки зрения продуктов повторяют Blackwell, но пока не дошли до свободной продажи

💸 Про сравнение карт

У RTX 6000 PRO сильно дешевле память и низкая цена за одну карту, что делает ее привлекательной для инференса небольших и средних моделей. А вот разница, например, B200 и H200 не такая очевидная. Если не учишь свои LLM. Да, в B200 несколько выгоднее компьют, но при этом нужно сразу выложить цену за 8 карт. А H200 можно купить в сервере на 4 карты.

Мы сами сейчас учим модели на H200, а инферим на RTX 6000 PRO. H200 в целом хорошие, но с другой стороны довольно старые карты. И вопрос, если расширяться, то чем?

Блокировка ChatGPT

Никогда такого не было и вот опять 🙂

Теперь уже мой личный аккаунт, которому было пару лет. Что такое рецедивизм - понятия не имею 🥑 посмотрел в словаре, не понял

Аппеляция в этот раз не помогла. Может быть проблема была в том, что я оплачивал акк через plati market. Мою киргизскую карту они почему-то отказывались принимать.

Вот думаю - что купить вместо Codex подписки для OpenClaw 🧠

- Либо купить новый аккаунт OpenAI (который с еще большей вероятностью забанят)
- Либо попробовать другую подписку (Кими?)
- Либо вообще попробовать платить токенами за не топ модели? 😏

Что посоветуете?

Вчера был на E-CODE, на ML-треке

Там выступал парень, который автоматизирует поддержку Тбанка агентами. Фраза из доклада, примерно дословно: «Большинство внедрений агентов проваливаются, но, кажется, наша команда напала на след, как это всё-таки делать. Пока не точно, но кажется мы его почуяли». Вайб очень жизненный и религиозный одновременно 👌 очень его разделяю))

Мысли на самом деле у него довольно здравые
— дообучать LLM не нужно
— агенту нужна поддерживаемая база знаний
— поддержку самой базы тоже стоит автоматизировать агентами, через разные хитрости и фидбек-лупы

Например, прогонять LLM-судью по человеческим сессиям поддержки и спрашивать: есть ли в базе знаний информация, чтобы решить данное обращение

Про выход GPT-6 Astra и пришедший AGI

Во-первых, нужно ждать. Мб они затюнились под бенчмарки.

Во-вторых, то что модель умеет решать задачи на IQ, не обязательно приведет к улучшению "бытовых" навыков.

Субъективно, заметный качественный прорыв был прошлой зимой. А дальше было эволюционное улучшение, которое в моменте не ощущается.

PS. Вот, можете потыкать ARC-AGI-3 бенчмарк, где модель набрала 98%

https://arcprize.org/tasks/ls20

Апдейты по моему прохождению cs336

Про который писал

Потратил на него примерно 40 часов. Сделал только одно задание. Ну.. это было жестко. Нужно было написать все с нуля: токенизатор, небольшую LLM с современными слоями, оптимизатор adam w (!) и код для обучения. И на всем этом провести десяток экспериментов

Учитывая что задание дают на 2 недели, я думаю люди отключают запрет на агентов

Признавать что я просто медленный я конечно не собираюсь 🗿

Да, и знаете что? Даже понимая внутренности современных LLM-ок и обучив все своими руками, я все равно поражаюсь что они все-таки работают 👁

Правда жизни про поиск

После того, как на конференции вы вдохновились очередным докладом про супер-пупер нейронку для поиска, может сложиться впечатление, что поиск - уже решенная задача

Вот вам простой пример, что это не так 😄

Запрос: "гермомешок 50л". Можете посмотреть как с ним справляются крупные ecom площадки. Ozon, Avito, Amazon, Ebay. Все выдают гермомешки неправильных размеров (Авито кстати меньше всех!)

С числовыми параметрами справляется Lamoda, потому что у них относительно узкая область и есть разбор запроса и преобразование его в фильтры. Но на большом ассортименте это очень тяжело поддерживать.

Короче есть еще чем позаниматься в поиске 😎

2-го августа будет конфа UrbanML. Собираюсь сам и могу порекомендовать вам.

—

18 докладов по RecSys, NLP, антифроду и агентным системам, выступления специалистов из MTS Web Services, ВТБ, «Звук», Wildberries, Альфа-Банка и других компаний. После основной части — спортивные активности (мастер-класс по баскетболу, настольный теннис и ИИ-шахматы) нетворкинг и афтепати.

Вход бесплатный, но нужна регистрация (на площадку необходимо взять с собой паспорт или права): ссылка

📅 2 августа, 11:00–21:00 (первый доклад в 12:00)
📍 Москва, офлайн