AI4Dev — AI for Development

🤖 AI-агент с нуля: Evaluation & Observability

До сих пор мы строили систему: инструменты, MCP, память, Guardrails, несколько агентов. Однако это ещё не ответ на вопрос, насколько система надёжна. Один удачный прогон показывает возможность, но не вероятность. Один и тот же запрос проходит через Retrieval, несколько model calls, Tool вызовов, Guardrails — и два запуска одной задачи могут закончиться по-разному.

⚡️ Это шестая часть видеокурса об AI-агентах от ML-инженера Artezio Антона Максимова!

Разберём Evaluation & Observability: как перейти от «работает в демо» к системе, качество которой можно воспроизводимо измерять и объяснять.

В этом выпуске:
— Почему классический тест input → expected output не работает для агентов
— Eval как pipeline: Task Suite → Infrastructure → Criteria → Grading
— Как выглядит валидный Task
— pass@k и pass^k: capability и reliability
— Graders: когда нужен code, когда LLM-as-a-Judge, когда человек
— Observability: Session, Trace, Span
— Production closes the loop: как превратить реальный failure в воспроизводимый Regression Task

🎬 Смотрите на YouTube или RuTube!

🔴 Мы в эфире!

ИИ уже помогает искать уязвимости. Вопрос в том, кто первым найдёт слабое место в вашей системе: ваш пентестер или атакующий с тем же инструментом?

Сегодня на Ai4Dev говорим про ИИ в роли атакующего: как он проверяет гипотезы, находит дыры и помогает строить цепочки атак. Где он действительно усиливает пентестера, а где уверенно ведёт его по ложному следу? Без презентаций — живой разговор и ваши вопросы в чате.

▶️ Подключайтесь

А если после эфира захочется спросить «что найдут у нас?», Security Lab проверяет инфраструктуру, приложения и LLM-сервисы на реальные пути атаки.

Кажется, что достаточно объединить несколько LLM-агентов, разрешить им общаться — и получится коллективный интеллект. Но сразу возникают вопросы: кто координирует агентов, как они распределяют задачи, что происходит без центрального управляющего узла и откуда появляется эмерджентное поведение?

⚡️Анна Авдюшина, кандидат технических наук и инженер центра «Сильный ИИ в промышленности» университета ИТМО, расскажет о том, как сформировать роевой интеллект на LLM.

На лекции поговорим про:
→ централизованные и децентрализованные архитектуры;
→ топологии взаимодействия агентов;
→ коммуникацию и распределение задач;
→ коллективное и эмерджентное поведение;
→ когда несколько агентов действительно лучше одного.

⏰ Запускаем трансляцию сегодня в 13:00.

Смотрите на YouTube, в ВК или прямо в этом канале — и задавайте вопросы Анне!

🤖 Как поднять корпоративного LLM-бота в закрытом контуре? Расскажет Алексей Кудаков, CTO технологической группы «Проявление».

Это продакшн-история для одной из крупнейших компаний в сфере ЖКХ России: один LLM-бот на телефон и чат-каналы (Макс, ВК, ОК, мобильное приложение) полностью on-premise, без единого внешнего вызова.

Разберём:
→ Что болело у заказчика: ~60 жёстких сценариев скриптового робота, очереди в пиках, тупики в чатах
→ Как выбирали стек и почему остановились на Qwen3-14B Instruct + LoRA + RAG + vLLM
→ Дообучение LLM под домен ЖКХ: от 45 тысяч ручных размеченных звонков до 345 тысяч примеров
→ Голосовой стек и его грабли: STT с галлюцинациями на тишине, дообучение CosyVoice 3, «превойс» для обхода недоверия абонентов
→ Запуск в закрытом контуре на NVIDIA H200: архитектура, оптимизации, бюджет латентности
→ Итоговые метрики: ожидание оператора с 5 минут до

Почему наука автоматизируется неравномерно? О пределах исследовательского harness расскажет Максим Шаланкин, Machine Learning Team Lead из MWS и автор телеграм-канала Maxim.ML.

27 августа 2026 года Anthropic объявила Model Hardware Standard: Claude из обычного терминала начал управлять микроскопами, роботизированными руками и qPCR-машинами. Интеграция, занимавшая недели, сократилась до часов.

Днём раньше стартап Transfyr поднял $25 млн: сенсоры и камеры записывают каждое движение учёных, превращая видеозаписи рук в обучающие данные для лабораторных роботов. Наука в физическом мире, самая сложная для автоматизации область, начала получать свой интерфейс.

Рассмотрим картину целиком: почему вычислительная наука уже упирается только в GPU, а экспериментальная — в законы природы.

⏰ Запускаем трансляцию завтра, 4 сентября, в 17:00.

Смотрите на YouTube, в ВК или прямо в этом канале — и задавайте вопросы Максиму!

🤖 AI-агент с нуля: строим Multi-Agent Systems

До сих пор мы строили одного AI-агента: дали ему инструменты, подключили MCP, добавили память и Guardrails. Он умеет получать контекст, принимать решения и выполнять действия во внешних системах.

Но что, если задача становится слишком большой для одного decision-making loop? Например, нужно одновременно исследовать несколько источников, работать с разными наборами данных и permissions, независимо проверять результаты и координировать несколько направлений работы. Кажется, очевидное решение — добавить ещё агентов. Но здесь легко усложнить систему, не сделав её лучше.

⚡️ Это пятая часть видеокурса об AI-агентах от ML-инженера Artezio Антона Максимова!

Разберём Multi-Agent Systems: где на самом деле проходит граница между одним сложным агентом и системой из нескольких агентов — и когда распределение принятия решений действительно оправдано.
Десять Tools, несколько LLM-вызовов и даже цепочка из Planner, Researcher и Reviewer ещё не делают систему Multi-Agent. MAS появляется тогда, когда существуют несколько автономных decision-making компонентов, способных самостоятельно принимать локальные решения и взаимодействовать друг с другом.

В этом выпуске:
— Где заканчивается Single-Agent System и начинается настоящая Multi-Agent System
— Homogeneous и Heterogeneous Agents: почему специализация и роли — только один из вариантов дизайна
— Cooperative, Collaboration и Mixed-Motive взаимодействие
— Point-to-point, Broadcast, Pipeline, Peer-to-peer и Shared Message Pool
— Centralized, Decentralized, Hierarchical и Blackboard / Shared Message Pool архитектуры
— A2A: как независимые agentic systems находят друг друга, передают задачи, статусы и результаты

🎬 Смотрите на YouTube или RuTube!

🤖 AI-агент с нуля: строим Guardrails

В прошлый раз мы дали агенту память — теперь он помнит пользователя между сессиями и может вызывать инструменты через MCP. Звучит идеально. Но у нас пока нет ни одного механизма, который контролирует, что агент читает, что делает и что отдаёт обратно.

Системный промпт с запретами — это не защита, а иллюзия безопасности. Поскольку языковая модель является вероятностной системой, при определённых входных данных она проигнорирует любую инструкцию. И пока у агента есть инструменты, это уже не проблема некорректного ответа — это удалённая таблица в базе данных, письмо, отправленное не тому адресату, или бесконечный цикл API-вызовов, который сжигает весь лимит за ночь.

⚡️ Представляем четвертую часть видеокурса об AI-агентах от ML-инженера Artezio Антона Максимова!

Guardrails — это не фильтр в системном промпте. Это детерминированный код, который принимает решение до того, как данные попали в модель, до того, как выполнено действие, и до того, как результат ушёл к пользователю.

В этом выпуске:
— Карта угроз LLM-агента: разберем Prompt Injection, Jailbreaking, Hallucination и Data Leakage
— Архитектура Guardrails
— Три класса методов: детерминированные, специализированные и вероятностные
— Allowlist, schema validation, ACL и human-in-loop — что и на каком контуре применять
— Пишем Guarded Agent: оборачиваем LangGraph-агент из прошлых уроков в четыре контура защиты

🎬 Смотрите на YouTube или RuTube!

⚡️ ИИ превзошёл людей в искусстве убеждения — какова зона риска?

Рассмотрим третью по счету область применения, где искусственный интеллект наглядно демонстрирует свое превосходство. Если успехи AI-агентов в программировании и математике сегодня отрицают вслух только убежденные скептики, то вокруг искусства убеждения пока сохраняется относительное молчание.

Доктор технических наук Владимир Крылов познакомит вас с результатами весьма глубокого и строгого научного исследования, результатом которого стал вывод: эпоха человеческой монополии на убеждение завершена. Создана технология, которая приводит факты, формирует эмпатию и меняет поведение эффективнее, чем самые обученные и высокооплачиваемые профессионалы в мире. Вопрос больше не в том, сможет ли ИИ убеждать массы. Вопрос в том, от чьего имени он будет это делать.

⏰ Запускаем трансляцию завтра, 6 августа, в 12:00.

Смотрите на YouTube, в ВК или прямо в этом канале — и задавайте вопросы лектору!

🤖 AI-агент с нуля: создаем Memory

В прошлый раз мы подключили агента к реальному миру через MCP — и теперь у него есть инструменты. Но каждый новый разговор он начинает с чистого листа.

Разберём, почему «просто передавай всю историю» — это тупик сразу в трёх местах: токены дорожают экспоненциально, данные исчезают при перезапуске, а сама модель начинает галлюцинировать из-за эффекта Lost in the Middle. И покажем, как выглядит настоящая архитектура памяти агента.

⚡️ Это третья часть видеокурса об AI-агентах от ML-инженера Artezio Антона Максимова!

Memory — это не фича и не класс в LangChain. Это конвейер из четырёх слоёв, каждый из которых отвечает на свой вопрос.

В этом выпуске:
— Почему «большое контекстное окно» не решает проблему памяти
— Что такое Lost in the Middle и почему это важнее, чем кажется
— Архитектура memory-системы: контекстный слой, долговременное хранилище, retrieval и жизненный цикл
— Summary Buffer, Token Budget и Working Memory — как управлять тем, что видит модель
— Vector Store, Entity Memory и Knowledge Graph — что и в каком формате хранить между сессиями
— Mem0: готовый memory layer вместо самописного пайплайна
— Пишем агента, который помнит пользователя после перезапуска

🎬 Смотрите на YouTube или RuTube!

Индустрия спорит на языке миллиардов долларов и терафлопсов. Но у развития больших языковых моделей есть пределы, которые не двигаются ни деньгами, ни железом — они заданы геометрией данных, теорией вычислительной сложности и теорией информации.

Наш гость Александр Пономаренко —соавтор алгоритмов NSW и HNSW, на которых работает большинство векторных баз данных, а значит и внешняя память почти любой современной ИИ-системы. Лауреат стипендии им. Ильи Сегаловича и IBM PhD Fellowship Award, научный сотрудник ИПФ РАН и лаборатории ЛАТАС, доцент кафедры прикладной математики и информатики НИУ ВШЭ.

Мы не будем задавать лёгких вопросов. Вместо этого обсудим споры, которые сейчас идут в исследовательском сообществе — и попросим гостя рассудить.

⏰ Запускаем трансляцию прямо сейчас!

Смотрите на YouTube или в ВК — и задавайте вопросы Александру!