«Цена искусственной мысли падает быстрее, чем стоимость любой другой transformative technology»
– вирусный график из свежего исследования Epoch AI. Насколько вообще корректно сравнивать первые пять лет AI с историей зрелых технологий – отдельный вопрос, но оно поднимает интересный парадокс: если AI так стремительно дешевеет, почему компании тратят на него всё больше денег?
Когда электричество стало доступнее, человечество ответило на это не меньшими счетами, а большими изобретением все новых способов его потреблять.
С inference может произойти тоже самое.
Но одновременно меняется масштаб потребления. Еще недавно типичный сценарий выглядел как один вопрос → один ответ. Теперь агент ради одной задачи может самостоятельно сделать десятки или сотни обращений к моделям. То, что раньше было бы абсурдно дорогим способом решить одну задачу, постепенно становится экономически разумным. А значит, AI начинают встраивать туда, где раньше его использование не было возможным.
На уровне индустрии уже видно и обратное: компании пытаются контролировать растущие AI-расходы: вводят лимиты, переводят простые задачи на более дешевые модели и ищут баланс между качеством и стоимостью.
Как и в случае с электричеством, мы переходим от радости, что лампочка горит, к проектированию умных энергосетей, и потребляя в тысячи раз больше, мы закономерно начинаем считать каждый ватт токен.
🟡 Re: #career@reframe_journal
– вирусный график из свежего исследования Epoch AI. Насколько вообще корректно сравнивать первые пять лет AI с историей зрелых технологий – отдельный вопрос, но оно поднимает интересный парадокс: если AI так стремительно дешевеет, почему компании тратят на него всё больше денег?
Когда электричество стало доступнее, человечество ответило на это не меньшими счетами, а большими изобретением все новых способов его потреблять.
С inference может произойти тоже самое.
Inference – это, грубо говоря, каждый раз, когда уже обученная модель что-то для нас «думает»: отвечает на вопрос, пишет код, анализирует документ. И получить сопоставимый уровень результата с помощью моделей со временем становится стремительно дешевле согласно этому исследованию.
Но одновременно меняется масштаб потребления. Еще недавно типичный сценарий выглядел как один вопрос → один ответ. Теперь агент ради одной задачи может самостоятельно сделать десятки или сотни обращений к моделям. То, что раньше было бы абсурдно дорогим способом решить одну задачу, постепенно становится экономически разумным. А значит, AI начинают встраивать туда, где раньше его использование не было возможным.
На уровне индустрии уже видно и обратное: компании пытаются контролировать растущие AI-расходы: вводят лимиты, переводят простые задачи на более дешевые модели и ищут баланс между качеством и стоимостью.
Как и в случае с электричеством, мы переходим от радости, что лампочка горит, к проектированию умных энергосетей, и потребляя в тысячи раз больше, мы закономерно начинаем считать каждый ватт токен.
🟡 Re: #career@reframe_journal