🤖 Как поднять корпоративного LLM-бота в закрытом контуре? Расскажет Алексей Кудаков, CTO технологической группы «Проявление».
Это продакшн-история для одной из крупнейших компаний в сфере ЖКХ России: один LLM-бот на телефон и чат-каналы (Макс, ВК, ОК, мобильное приложение) полностью on-premise, без единого внешнего вызова.
Разберём:
→ Что болело у заказчика: ~60 жёстких сценариев скриптового робота, очереди в пиках, тупики в чатах
→ Как выбирали стек и почему остановились на Qwen3-14B Instruct + LoRA + RAG + vLLM
→ Дообучение LLM под домен ЖКХ: от 45 тысяч ручных размеченных звонков до 345 тысяч примеров
→ Голосовой стек и его грабли: STT с галлюцинациями на тишине, дообучение CosyVoice 3, «превойс» для обхода недоверия абонентов
→ Запуск в закрытом контуре на NVIDIA H200: архитектура, оптимизации, бюджет латентности
→ Итоговые метрики: ожидание оператора с 5 минут до
Это продакшн-история для одной из крупнейших компаний в сфере ЖКХ России: один LLM-бот на телефон и чат-каналы (Макс, ВК, ОК, мобильное приложение) полностью on-premise, без единого внешнего вызова.
Разберём:
→ Что болело у заказчика: ~60 жёстких сценариев скриптового робота, очереди в пиках, тупики в чатах
→ Как выбирали стек и почему остановились на Qwen3-14B Instruct + LoRA + RAG + vLLM
→ Дообучение LLM под домен ЖКХ: от 45 тысяч ручных размеченных звонков до 345 тысяч примеров
→ Голосовой стек и его грабли: STT с галлюцинациями на тишине, дообучение CosyVoice 3, «превойс» для обхода недоверия абонентов
→ Запуск в закрытом контуре на NVIDIA H200: архитектура, оптимизации, бюджет латентности
→ Итоговые метрики: ожидание оператора с 5 минут до