Сюрприз. RTX PRO 6000, 96 гигабайт.
Я до сих пор не придумал, что говорят в такой момент.

Зачем она мне.
Хотелось собрать дома слепок корпоративной архитектуры - ту самую связку, которая на работе живёт. Свой инференс-движок, свой прокси, своя трассировка. Чтобы пробовать целиком, а не по кусочкам и не на проде.

От коробки до рабочего стека - один день с Claude Code. Прилично времени ушло на BIOS и на grub, который не хотел уживаться с Windows на одной машине. С vLLM разобрались быстрее, чем с загрузчиком. 2026 год.

Собралось так:
vLLM держит модель,
LiteLLM даёт один OpenAI-совместимый адрес всем проектам,
Langfuse пишет каждый вызов.
Модель - полноразмерный Qwen3-30B-A3B, лезет в память целиком,
153 токена в секунду.

Первое, что на неё поехало - генерация SQL. Это мне скоро будет сниться
___
Советов по такому железу не дам. Разница между «хочу локальный инференс» и "знаю, какие сценарии на нём поедут и сколько они для меня стоят" - примерно как цена этой карты.

Но связка завелась и работает ровно так, как задумывалось. Восторг пока не прошёл.

Разобрал сборку целиком - архитектура, куда уходят 96 гигабайт, все замеры и грабли: ссылка