Куда будут развиваться LLM-платформы в дальнейшем

Вижу интересную тенденцию, что большинство LLM-движухи сейчас сконцентрировано вокруг моделей: каналы пестрят новостями о новых релизах Anthropic, Google и остальных. Но на мой взгляд, ключевые инновации, которые будут влиять на то как быстро LLM будут проникать в бизнес и пользовательские приложения сейчас происходят в области LLM-инфраструктуры (LLMOps)

Это как было с data science – с ростом потребности в том, чтобы DS-решения были масштабируемые, управляемые, воспроизводимые появилась целая область MLOps, в которой на текущий момент несколько доминирующих платформ и тысячи узко-специализированных решений

Похожая история будет происходить и с LLM: ключевые задачи тут будут касаться менеджмента LLM-пайплайнов (в том числе промпт-менеджмента, оркестрации в комплексные агентные системы, а также автоматизированной оценки пайплайнов) и resource-management (что-то про то как выдавать качество, валидное для решения задачи, но с минимальной стоимостью, например, через оптимизацию выбора модели/архитектуры под задачу)