🚀 Статья опубликована (да, с небольшим запозданием)

На Хабре вышел мой большой практический туториал:

👉 Как поднять мультимодальный AI-сервис (OCR, ASR, LLM, TTS) на одной GPU 16GB без облачных API

Это реальный продакшен-сетап, а не демо и не «игрушка».


🧠 4 нейросети на одном GPU (RTX A4000, 16GB)

OCR → ASR → LLM → TTS

Стек технологий:

FastAPI + PyTorch + Transformers

Используемые модели:

- 🖼 DeepSeek OCR
- 🎙 Whisper RU
- 🤖 Qwen2.5
- 🗣 MMS-TTS (RU)

Что внутри статьи

⚙️ Подготовка VPS: Ubuntu + CUDA + драйверы

🧮 Управление VRAM без CUDA OOM (fp16, lazy loading, torch.no_grad, освобождение памяти)

🚀 Продакшен без Docker: systemd, virtualenv, автозапуск

🌐 Nginx + HTTPS + домен

🧪 Тестирование через Swagger

Итог

Локальный AI-сервис «под ключ»:

- предсказуемые расходы (VPS с GPU ≈ 12к/мес)
- полная приватность данных
- база для AI-продукта или стартапа

📦 Полный исходный код проекта 👉 GitHUB

💬 Материал получился непростым, поэтому если остались вопросы — пишите тут 👇 или в комментариях на Хабре. По возможности всем отвечу.

P.S. Искренне постараюсь сделать всё, чтобы в 2026 году таких больших пауз по публикациям больше не было 🙂

Всех с прошедшими праздниками. Начинаем! 🚀