LLM в продакшене: vLLM, SGLang и AI-разработка | Подкаст «Под Капотом» с Азером Шахвердиевым
В этом выпуске мы обсудили с Азером Шахвердиевым, руководителем NLP-лаборатории Контура, как ML-модели живут в продакшене, а агенты меняют работу разработчика.
А ещё рассказали:
- как в Контуре суммаризируют тысячи встреч
- какие особенности при работе со SGLang и VLLM
- почему результаты бенчмарков расходятся с поведением моделей под реальной нагрузкой
- зачем компании общая AI-платформа и на что уходит время разработчика, когда код пишет LLM
Смотрите по ссылке: https://youtu.be/5SwgI_nM3l4?si=WW6tdF5Vt8PxvyNtя
В этом выпуске мы обсудили с Азером Шахвердиевым, руководителем NLP-лаборатории Контура, как ML-модели живут в продакшене, а агенты меняют работу разработчика.
А ещё рассказали:
- как в Контуре суммаризируют тысячи встреч
- какие особенности при работе со SGLang и VLLM
- почему результаты бенчмарков расходятся с поведением моделей под реальной нагрузкой
- зачем компании общая AI-платформа и на что уходит время разработчика, когда код пишет LLM
Смотрите по ссылке: https://youtu.be/5SwgI_nM3l4?si=WW6tdF5Vt8PxvyNtя
На курсе LLM System Design мы учим проектировать и собирать LLM-системы. Там Азер подробно расскажет, как и на каких технологиях строятся системы, о которых мы говорили в подкасте.