Альберт
да да, именно!
В идеале, вообще какой-нибудь llm-gateway сервис-фасад пишешь, который роутит запросы в отдельные инстансы моделей.
А все продуктовые сервисы ходят в этот фасад. По ключу в реквесте контролируют какую модель использовать и вообще знать не знают как там сервинг llm-ок устроен
В идеале, вообще какой-нибудь llm-gateway сервис-фасад пишешь, который роутит запросы в отдельные инстансы моделей.
А все продуктовые сервисы ходят в этот фасад. По ключу в реквесте контролируют какую модель использовать и вообще знать не знают как там сервинг llm-ок устроен