Решаем проблемы настройки зависимостей и работы с LLM
Пришла идея решить некоторые проблемы людей, которые начинают погружаться в работу с агентами и LLM.
Основная проблема - отсутствие доступа к LLM. Либо нет возможности поставить ее к себе локально из-за слабого железа, либо же не очень понятно, где получить доступ к API.
Также проблемы, связанные с настройкой Jupyter или установкой зависимостей.
Когда-то сам с таким сталкивался.
Решил собрать платформу, которая решает эти проблемы. В ней пользователь сможет получить доступ к Jupyter Notebook c уже установленными зависимостями, а также доступ к LLM, которую он сможет использовать внутри платформы. Естественно, Claude в разработке платформы очень помог.
Всего в пару кликов, после просмотра урока на курсе, человек сможет зайти на платформу и сразу начать практиковаться.
Сейчас проблема с которой я столкнулся - это ограниченность ресурсов сервера и LLM (взял подписку GigaChat и подключил прокси внутри сервера).
Для решения проблемы с ресурсами я сделал следующее: ограничил время и память 1 сессии с Jupyter для 1 пользователя. Также ограничил количество запросов к предоставленной LLM для пользователя в минуту.
Сейчас сервер способен выдержать одновременно ~15 запущенных сессий с Jupyter. Работает по принципу "кто успел, тот и съел" =)
Настроил себе мониторинг, посмотрю что из этого выйдет. Если будет интерес, буду думать над масштабированием, чтобы повысить количество одновременно работающих пользователей.
Возможно в канале есть те, кто начал проходить мой курс. Чтобы получить доступ к платформе - нужно зайти в бота @course_platform_bot, после команды /start он предоставит все необходимые доступы и ссылки. Напомню - LLM можно использовать только внутри платформы.
Максим Максимов // IT, AI
Пришла идея решить некоторые проблемы людей, которые начинают погружаться в работу с агентами и LLM.
Основная проблема - отсутствие доступа к LLM. Либо нет возможности поставить ее к себе локально из-за слабого железа, либо же не очень понятно, где получить доступ к API.
Также проблемы, связанные с настройкой Jupyter или установкой зависимостей.
Когда-то сам с таким сталкивался.
Решил собрать платформу, которая решает эти проблемы. В ней пользователь сможет получить доступ к Jupyter Notebook c уже установленными зависимостями, а также доступ к LLM, которую он сможет использовать внутри платформы. Естественно, Claude в разработке платформы очень помог.
Всего в пару кликов, после просмотра урока на курсе, человек сможет зайти на платформу и сразу начать практиковаться.
Сейчас проблема с которой я столкнулся - это ограниченность ресурсов сервера и LLM (взял подписку GigaChat и подключил прокси внутри сервера).
Для решения проблемы с ресурсами я сделал следующее: ограничил время и память 1 сессии с Jupyter для 1 пользователя. Также ограничил количество запросов к предоставленной LLM для пользователя в минуту.
Сейчас сервер способен выдержать одновременно ~15 запущенных сессий с Jupyter. Работает по принципу "кто успел, тот и съел" =)
Настроил себе мониторинг, посмотрю что из этого выйдет. Если будет интерес, буду думать над масштабированием, чтобы повысить количество одновременно работающих пользователей.
Возможно в канале есть те, кто начал проходить мой курс. Чтобы получить доступ к платформе - нужно зайти в бота @course_platform_bot, после команды /start он предоставит все необходимые доступы и ссылки. Напомню - LLM можно использовать только внутри платформы.
Максим Максимов // IT, AI