ИИ Агенты это легко. Куда копать? ☕️
Часть 1
Часть 1
Часть 1
Часть 1
Последний год я занимаюсь внедрением так называемого Agentic AI и могу поделиться своим скромным опытом. Тема довольно обширная, но я ужимал как мог и постарался раскрыть многие не только базовые штуки, но и какие-никакие подводные камни. Сделать ИА агента (отсылка к ослику, да) не сложно, чуть более взрослого - уже посложнее.
Я знаю, что многие разработчики не задействованы в интеграции ИИ в продукты и могут быть не очень в контексте чё тут вообще происходит поэтому решил КРАТЕНЬКО накинуть.
Кратенько не так чтобы получилось. Но что ж теперь делать 😊 Шесть коротеньких частей. Буду по одной в день выкидывать чтобы вас не травмировать кол-вом текста 🌪
➡️WTF или что ты такое?
Агенты могут быть разными, но в общем виде - это маленький такой самостоятельный умный лоботряс, который может общаться с пользователем и помогать ему чет полезное делать.
Ну к примеру рассказать какие сейчас идут фильмы и отговорить, купить ему билет, пиццу заказать, узнать почему сервер упал в клауде, милую пикчу котика сгенерить, найти фотки бывших по просьбе друга в конце концов-то. Что угодно, любая автоматизация в которой может участвовать человек "на другом конце провода".
ИИ-Лоботряс должен понять вас и сделать то, чего вы от него ожидаете. Ну какбы очевидно, да.
А для этого ему необходимо понять ЧТО ему говорит пользователь, ЧЕМ ему ответить и КАК ИМЕННО ему помочь, что в свою очередь обязывает ИИ-Агента иметь :
➡️ Контекст
Контекст маттерс. Это то - на основе чего модель думает/принимает решения как отвечать и какие инструменты использовать. Это текстовые инструкции в запросе к ЛЛМ. Их туда нужно как-то поместить (об этом позже). А кроме этого - контекст такая штука - любит разбухать. Большой контекст - боль для сегодняшних моделей. Вы можете запихнуть войну и мир в один запрос, но есть базовое правило - чем больше контекста вы даёте ллм, тем тупее она становится. Проблема в зонах фокуса - модели теряются, могут галлюцинировать и в итоге будут плохо понимать чё вы от них хотите. А еще большой контекст = банально дорого. Каждый раз бегать "со всей информацией что у вас есть" не прокатит. Узкое и дорогое контекстное окно моделей - одно из главных их сегодняшних ограничений. Но решения есть, о них позже.
➡️ Долгоживущую память
Запрос к ЛЛМ - это один "туда-сюда запрос" на сервер к провайдеру и назад. Общаясь с пользователем - вам нужно "помнить" что он писал минуту назад... Час назад и даже месяц назад. Для этого вам нужен определённый state (состояние) в рамках так называемых ReAct циклов. В общем, тут вполне себе сравнение с человеческой памятью. Short-term и Long-term.
➡️ Доступ к данным (вашим/компании/внешнего мира/etc)
Лоботрясу нужно где-то брать информацию о которой его спрашивают. Он должен иметь возможность понимать какие данные ему доступны и как их забрать. А ещё наверное вы хотели бы чтобы лоботряс чёт прикольное делал, да? Ну, допустим заказал пиццу на адрес. Или рассказал о новых новостях в мире. А какие пиццы сейчас у нас в продаже есть? А чё стоят? А скидосик у юзера есть? А новости где искать... В базе данных? В интернете? Из контекста?
➡️ Возможность что-то сделать
Этот пункт проистекает из предыдущего и является самой солью агента - пользователь как бы что-то хочет от агента. Эль Лоботрясио должен жать на нужные кнопки, которые мы ему дадим. Именно мы должны ЛЛМ рассказать какие у нас есть "под капотом" возможности в поиске информации, на какие кнопки можно "нажать" и как ЛЛМ это всё сделать если ОНА примет такое решение. А вот бы ещё и отделять вопросы про кинотеатр и заказ пиццы и давать разные инструменты ЛЛМке, правда?
Продолжение ниже ⤵️
@Айтигребец
Часть 1
Часть 1
Часть 1
Часть 1
Последний год я занимаюсь внедрением так называемого Agentic AI и могу поделиться своим скромным опытом. Тема довольно обширная, но я ужимал как мог и постарался раскрыть многие не только базовые штуки, но и какие-никакие подводные камни. Сделать ИА агента (отсылка к ослику, да) не сложно, чуть более взрослого - уже посложнее.
Я знаю, что многие разработчики не задействованы в интеграции ИИ в продукты и могут быть не очень в контексте чё тут вообще происходит поэтому решил КРАТЕНЬКО накинуть.
Кратенько не так чтобы получилось. Но что ж теперь делать 😊 Шесть коротеньких частей. Буду по одной в день выкидывать чтобы вас не травмировать кол-вом текста 🌪
➡️WTF или что ты такое?
Агенты могут быть разными, но в общем виде - это маленький такой самостоятельный умный лоботряс, который может общаться с пользователем и помогать ему чет полезное делать.
Ну к примеру рассказать какие сейчас идут фильмы и отговорить, купить ему билет, пиццу заказать, узнать почему сервер упал в клауде, милую пикчу котика сгенерить, найти фотки бывших по просьбе друга в конце концов-то. Что угодно, любая автоматизация в которой может участвовать человек "на другом конце провода".
ИИ-Лоботряс должен понять вас и сделать то, чего вы от него ожидаете. Ну какбы очевидно, да.
А для этого ему необходимо понять ЧТО ему говорит пользователь, ЧЕМ ему ответить и КАК ИМЕННО ему помочь, что в свою очередь обязывает ИИ-Агента иметь :
➡️ Контекст
Контекст маттерс. Это то - на основе чего модель думает/принимает решения как отвечать и какие инструменты использовать. Это текстовые инструкции в запросе к ЛЛМ. Их туда нужно как-то поместить (об этом позже). А кроме этого - контекст такая штука - любит разбухать. Большой контекст - боль для сегодняшних моделей. Вы можете запихнуть войну и мир в один запрос, но есть базовое правило - чем больше контекста вы даёте ллм, тем тупее она становится. Проблема в зонах фокуса - модели теряются, могут галлюцинировать и в итоге будут плохо понимать чё вы от них хотите. А еще большой контекст = банально дорого. Каждый раз бегать "со всей информацией что у вас есть" не прокатит. Узкое и дорогое контекстное окно моделей - одно из главных их сегодняшних ограничений. Но решения есть, о них позже.
➡️ Долгоживущую память
Запрос к ЛЛМ - это один "туда-сюда запрос" на сервер к провайдеру и назад. Общаясь с пользователем - вам нужно "помнить" что он писал минуту назад... Час назад и даже месяц назад. Для этого вам нужен определённый state (состояние) в рамках так называемых ReAct циклов. В общем, тут вполне себе сравнение с человеческой памятью. Short-term и Long-term.
➡️ Доступ к данным (вашим/компании/внешнего мира/etc)
Лоботрясу нужно где-то брать информацию о которой его спрашивают. Он должен иметь возможность понимать какие данные ему доступны и как их забрать. А ещё наверное вы хотели бы чтобы лоботряс чёт прикольное делал, да? Ну, допустим заказал пиццу на адрес. Или рассказал о новых новостях в мире. А какие пиццы сейчас у нас в продаже есть? А чё стоят? А скидосик у юзера есть? А новости где искать... В базе данных? В интернете? Из контекста?
➡️ Возможность что-то сделать
Этот пункт проистекает из предыдущего и является самой солью агента - пользователь как бы что-то хочет от агента. Эль Лоботрясио должен жать на нужные кнопки, которые мы ему дадим. Именно мы должны ЛЛМ рассказать какие у нас есть "под капотом" возможности в поиске информации, на какие кнопки можно "нажать" и как ЛЛМ это всё сделать если ОНА примет такое решение. А вот бы ещё и отделять вопросы про кинотеатр и заказ пиццы и давать разные инструменты ЛЛМке, правда?
Продолжение ниже ⤵️
@Айтигребец