Почему я не верю в ИИ агентов в 2025
Каналу всего 2 месяца, а я тут уже начинаю спорить с Альтманом.
Как обычно, начнем с определения. Мне очень нравится определение коллег из Anthropic.
Ключевые слова: сами и поставленную задачу. Вы сказали: забронируй мне с другом ресторан на 8 вечера. Он сам сходит в API гида мишлен, спросит столик, напишет другу (ИИ-агенту друга, кек), спросит у вас о предпочтениях и тд. Вот такого в 2025 не будет.
Почему?
Главная проблема LLM - ненадежность. Она возникает из-за метода предсказания: LLM токен за токеном предсказывает итоговый ответ. Представьте, что вероятность ошибиться при предсказании каждого токена всего 0.001. Тогда вероятность воспроизвести все 10 токенов без ошибки - 99%. Вполне надежно. Но вероятнось подряд воспроизвести тысячу токенов уже 37%. Это не так много для агента, который вынужден пообщаться сначала с вами, потом с друзьями, потом с другими агентами ресторана.
Чем более долгое взаимодействие, чем больше шанс нарваться на ошибку. А в этой ошибке уже могут быть замешаны отношения с друзьями/деньги и тд. Внимательный читатель поймет, что ровно с этим могут помочь рассуждающие модели, но это пока будет экстремально дорого работать.
Исключения.
Пока я вижу ровно 2, где агенты применимы:
1) обзор темы, где агент будет исследовать большой материал, который самому лень копать. Результат потом перепроверит человек.
2) программирование, где решение проверит человек-тестировщик
А что в 2025 будет?
В продуктах применять будут не это. К 2025 году мы научились делать 2 важных вещи:
1) Варить модели специфичные под конкретный продукт. Здесь напоминаю пост про вертикальный ИИ.
2) Подключать эти LLM к инструментам: к гугл документам с фин. отчетом, к pdf со скриптами продаж, к CRM-ке с клиентами тд. Вот, например, статья, как это можно делать.
Комбинируя небольшие модели и инструменты, мы научимся делать офигительные продукты для поддержки, маркетинга, продаж. А агенты нам пока не пригодятся.
Как делать такие продукты? Об этом в следующих постах
Каналу всего 2 месяца, а я тут уже начинаю спорить с Альтманом.
Как обычно, начнем с определения. Мне очень нравится определение коллег из Anthropic.
Агенты это LLM системы, которые сами определяют свое поведение, контролируя, как они выполняют поставленную им задачу.
Ключевые слова: сами и поставленную задачу. Вы сказали: забронируй мне с другом ресторан на 8 вечера. Он сам сходит в API гида мишлен, спросит столик, напишет другу (ИИ-агенту друга, кек), спросит у вас о предпочтениях и тд. Вот такого в 2025 не будет.
Почему?
Главная проблема LLM - ненадежность. Она возникает из-за метода предсказания: LLM токен за токеном предсказывает итоговый ответ. Представьте, что вероятность ошибиться при предсказании каждого токена всего 0.001. Тогда вероятность воспроизвести все 10 токенов без ошибки - 99%. Вполне надежно. Но вероятнось подряд воспроизвести тысячу токенов уже 37%. Это не так много для агента, который вынужден пообщаться сначала с вами, потом с друзьями, потом с другими агентами ресторана.
Чем более долгое взаимодействие, чем больше шанс нарваться на ошибку. А в этой ошибке уже могут быть замешаны отношения с друзьями/деньги и тд. Внимательный читатель поймет, что ровно с этим могут помочь рассуждающие модели, но это пока будет экстремально дорого работать.
Исключения.
Пока я вижу ровно 2, где агенты применимы:
1) обзор темы, где агент будет исследовать большой материал, который самому лень копать. Результат потом перепроверит человек.
2) программирование, где решение проверит человек-тестировщик
А что в 2025 будет?
В продуктах применять будут не это. К 2025 году мы научились делать 2 важных вещи:
1) Варить модели специфичные под конкретный продукт. Здесь напоминаю пост про вертикальный ИИ.
2) Подключать эти LLM к инструментам: к гугл документам с фин. отчетом, к pdf со скриптами продаж, к CRM-ке с клиентами тд. Вот, например, статья, как это можно делать.
Комбинируя небольшие модели и инструменты, мы научимся делать офигительные продукты для поддержки, маркетинга, продаж. А агенты нам пока не пригодятся.
Как делать такие продукты? Об этом в следующих постах