Локальные модели vs готовые по API: когда что брать
Частый вопрос у разработчиков что и как лучше использовать. В том числе задают вопросы на собеседованиях при проектировании систем что выбрать?
(важная оговорка: про облачные решения (Bedrock, Vertex и т.д.) и разные обёртки для обезличивания данных тут не проговариваю. только про два полюса: публичный API против self-host)
Вообще одна из главных проблем быстрого внедрения ИИ == это чувствительные данные. Нельзя просто так скормить тонны информации из своих тасктрекеров, баз данных и всего и всего и при этом не получить бобо от безопасников.
🥷Во всех крупных компаниях есть четкие регламенты, что нельзя скармливать нейронке.
Поэтому в случае безопасности данных часто выбирают развертывать локальные модели вместо уже готовых.
💲Второй важный момент == это цена.
Тут надо понимать, что дешевле: развернуть на своем железе последний qwen и его обслуживать или дергать anthropic/openai по апишке.
Часто для этого используют отдельные метрики, и конечное решение уже делает техлид/архитектор по конкретному выбору.
Третий момент == это качество.
Ни для кого не секрет, что модели claude явно мощнее и качественнее, чем условные qwen. Тоже нужно думать, насколько нужны «мощные» модели для решения задач.
↗️Четвертый момент == это объем. Если раз в неделю пару раз дергается апишка на небольшие задачи, то естественно нет надобности разворачивать у себя модель. Но если масштаб большой, то бюджет начинает кусаться.
К слову, собеседовался в одну компанию, и архитектор рассказывал, что они тратят безумные деньги на апишки антропика. Буквально сотни тысяч долларов на определенные процессы с ии. Поэтому тоже держим это в голове.
В реальности между этим выбора правильного варианта никогда нет. А самый оптимальный это гибрид. Можно спокойно запускать и так и так. qwen для внутренних данных, а для тяжелых openai.
Частый вопрос у разработчиков что и как лучше использовать. В том числе задают вопросы на собеседованиях при проектировании систем что выбрать?
(важная оговорка: про облачные решения (Bedrock, Vertex и т.д.) и разные обёртки для обезличивания данных тут не проговариваю. только про два полюса: публичный API против self-host)
Вообще одна из главных проблем быстрого внедрения ИИ == это чувствительные данные. Нельзя просто так скормить тонны информации из своих тасктрекеров, баз данных и всего и всего и при этом не получить бобо от безопасников.
🥷Во всех крупных компаниях есть четкие регламенты, что нельзя скармливать нейронке.
Поэтому в случае безопасности данных часто выбирают развертывать локальные модели вместо уже готовых.
💲Второй важный момент == это цена.
Тут надо понимать, что дешевле: развернуть на своем железе последний qwen и его обслуживать или дергать anthropic/openai по апишке.
Часто для этого используют отдельные метрики, и конечное решение уже делает техлид/архитектор по конкретному выбору.
Третий момент == это качество.
Ни для кого не секрет, что модели claude явно мощнее и качественнее, чем условные qwen. Тоже нужно думать, насколько нужны «мощные» модели для решения задач.
↗️Четвертый момент == это объем. Если раз в неделю пару раз дергается апишка на небольшие задачи, то естественно нет надобности разворачивать у себя модель. Но если масштаб большой, то бюджет начинает кусаться.
К слову, собеседовался в одну компанию, и архитектор рассказывал, что они тратят безумные деньги на апишки антропика. Буквально сотни тысяч долларов на определенные процессы с ии. Поэтому тоже держим это в голове.
В реальности между этим выбора правильного варианта никогда нет. А самый оптимальный это гибрид. Можно спокойно запускать и так и так. qwen для внутренних данных, а для тяжелых openai.