Карьерная ставка
LLM становятся commodity – это вопрос не «если», а «когда». Недавний релиз GLM-5.2 – неплохая засечка. Компания с запоминающимся нашему глазу доменом z.ai выкатила open-weights модель, которая бьёт/дышит в спину проприетарным БЯМам – хороший подарок для всего мира от наш китайский друг 🐼 всего лишь за одну шестую стоимости закрытых конкурентов.
Я не могу представить мир через пять лет, где мы по-прежнему зависим исключительно от API OpenAI и Anthropic. Компании, которые не строят собственную AI-инфраструктуру обречены проигрывать властителям видеокарточек и цепочек поставок. Попытки крупных лабораторий «зайти в продукт» провалятся.
На какие навыки в ближайшее время я ставлю свой самый дорогой ресурс:
- выбрать подходящую модель и поднять её – не обучить с нуля, а грамотно задеплоить и настроить под задачу
- выбрать правильный runtime – vLLM, TGI, llama.cpp, Ollama и тд
- натюнить LoRA-адаптеры когда это необходимо, про то когда понять, что это необходимо писал 👉🏼 тут
- понимать как устроен inference на большом скейле; у Дваркеша есть подробный разбор как это работает на очень большом скейле
- выжать максимум из local/on-prem сетапа – здесь платим за компьют, а не за токены
Видится мне, что мы конвергируем к схеме похожей на hybrid cloud: небольшая часть запросов уходит в облачные модели, остальное крутится на локальной инфре, или вообще прямо на edge-девайсе. Apple на WWDC 2026 показали именно это: бо́льшая часть запросов обрабатывается прямо на айфончике, а разработчики получают доступ к моделям через Swift SDK, сложные кейсы уходят в Private Compute Cloud (жеминай).
Сейчас крупные рыбы как не в себя подписывают enterprise-контракты с Anthropic, платя субсидированные цены. Когда этот аттракцион невиданной щедрости закончится и CFO перестанут выделять раздутые бюджеты на токены без понятного ROI, человек который умеет делать всё перечисленное выше начнёт по-настоящему курить бамбук – рынок для таких спецов станет куда больше нынешнего.
AI Engineering – прекрасный мостик для AI Eng. второго типа (тут писал про 2 типа AI Инженеров), те у кого не было опыта в core ML . Да, сейчас мы строим приложения на базе моделей спрятанных за API, но кто будет настраивать весь local inference setup когда придёт такая потребность? – проактивный AI-инженер или LLMOps (хайпующий DevOps'ер).
Нужно больше чипов!
Те, кто владеют инфраструктурой – главные гигачады, мб капитализация SpaceX всё таки оправдана и датацентры в космосе нам очень даже "к чему"? 🤔
RAM не дешевеет. Строить качественные продукты всё так же тяжело. Акции производителей железа будут только расти.
viva la open source 🐧
#ai #career
Багодельня Соколовского 👾
LLM становятся commodity – это вопрос не «если», а «когда». Недавний релиз GLM-5.2 – неплохая засечка. Компания с запоминающимся нашему глазу доменом z.ai выкатила open-weights модель, которая бьёт/дышит в спину проприетарным БЯМам – хороший подарок для всего мира от наш китайский друг 🐼 всего лишь за одну шестую стоимости закрытых конкурентов.
Я не могу представить мир через пять лет, где мы по-прежнему зависим исключительно от API OpenAI и Anthropic. Компании, которые не строят собственную AI-инфраструктуру обречены проигрывать властителям видеокарточек и цепочек поставок. Попытки крупных лабораторий «зайти в продукт» провалятся.
На какие навыки в ближайшее время я ставлю свой самый дорогой ресурс:
- выбрать подходящую модель и поднять её – не обучить с нуля, а грамотно задеплоить и настроить под задачу
- выбрать правильный runtime – vLLM, TGI, llama.cpp, Ollama и тд
- натюнить LoRA-адаптеры когда это необходимо, про то когда понять, что это необходимо писал 👉🏼 тут
- понимать как устроен inference на большом скейле; у Дваркеша есть подробный разбор как это работает на очень большом скейле
- выжать максимум из local/on-prem сетапа – здесь платим за компьют, а не за токены
Видится мне, что мы конвергируем к схеме похожей на hybrid cloud: небольшая часть запросов уходит в облачные модели, остальное крутится на локальной инфре, или вообще прямо на edge-девайсе. Apple на WWDC 2026 показали именно это: бо́льшая часть запросов обрабатывается прямо на айфончике, а разработчики получают доступ к моделям через Swift SDK, сложные кейсы уходят в Private Compute Cloud (жеминай).
Сейчас крупные рыбы как не в себя подписывают enterprise-контракты с Anthropic, платя субсидированные цены. Когда этот аттракцион невиданной щедрости закончится и CFO перестанут выделять раздутые бюджеты на токены без понятного ROI, человек который умеет делать всё перечисленное выше начнёт по-настоящему курить бамбук – рынок для таких спецов станет куда больше нынешнего.
AI Engineering – прекрасный мостик для AI Eng. второго типа (тут писал про 2 типа AI Инженеров), те у кого не было опыта в core ML . Да, сейчас мы строим приложения на базе моделей спрятанных за API, но кто будет настраивать весь local inference setup когда придёт такая потребность? – проактивный AI-инженер или LLMOps (хайпующий DevOps'ер).
Нужно больше чипов!
Те, кто владеют инфраструктурой – главные гигачады, мб капитализация SpaceX всё таки оправдана и датацентры в космосе нам очень даже "к чему"? 🤔
RAM не дешевеет. Строить качественные продукты всё так же тяжело. Акции производителей железа будут только расти.
viva la open source 🐧
#ai #career
Багодельня Соколовского 👾