Agentic World

Почему grep все еще с нами и 50 лет эволюции поиска по коду

Опубликовал статью "50 лет эволюции поиска по коду: что под капотом кодинговых агентов". В ней про grep, AST, LSP, нграммы и многое другое. Про все то, что придумывалось для того, чтобы найти нужный код. Название буквальное: статья не про устройство поиска сейчас (про это будет доклад завтра), а про то, чем этот поиск делается - какие есть алгоритмы, подходы и технологии.

Когда я первый раз увидел grep в трейсах Claude Code и затем их CTO сказал, что они вообще отказались от векторного поиска (который последние пару лет казался чем-то неприкосновенным), мне захотелось раскопать эту идею глубже и собрать всё в одном месте. Я потратил несколько суток на ресерч, но все так и осталось драфтом.

Уже больше полугода я никак не мог собраться и добить эту статью. Потому что сначала хотелось рассказать про самые кишки каждого подхода, и добавить в том числе как тупиковые ветки развития (их было много и там много интересных решений), так и что-то крутое специфичное и нишевое (но пока не взлетевшее на олимп, типа биграмного fff с горячим файловым индексом и mcp), но получался монстр-текст, который никто точно не будет читать.

Поэтому я собрал некий happy path в том смысле, что каждая из перечисленных технологий жива и с нами до сих пор. Потратил сегодняшнюю ночь, но все зафиналил (вот что делается, когда надо поставить куар в доклад, лол).

Читается легко, пользы вагон, поэтому - рекомендую.

Ожидаю штук 8 типичных для себя на хабре дизлайков "потому что текст похож на сгенерированный" (если я начну писать все нейронкой и считать людей за дебилов - отписывайтесь! я написал тысячу постов про путешествиия еще до этих наших элэлэмок), "реклама" (если мне кто захочет заплатить за это - я возьму, но пока увы), "личная неприязнь" (лол!) и мое любимое - "ничего не понял из написанного"

https://habr.com/ru/articles/1089460/

На прошлой неделе я написал огроомный обзор на Jev, основанный на двух часах интервью их СЕО и изучении их же кукбука.

Модель влетела в хайптрейн западного AI мира не просто так - во-первых, у нее реально крутая философия создания. Во-вторых, красивый API. А в третьих, и это самое главное, мы ее уже попробовали и несмотря на то, что в ее обучении почти только английский язык, генерализация у нее очень хорошая. Оно работает!

При первом взгляде можно подумать, что это всего лишь "классификатор". Но даже если так, обычно все энкодерные классификаторы не очень хорошо генерализуются и потому затачиваются под конкретную задачу. Но на самом деле, вокруг нас сплошная классификация - мы постоянно принимаем небольшие решения о классификации и ллмки подходят под это не очень хорошо. Потому что даже если взять тупо харнесс - нам постоянно надо принимать небольшие решения, например, вызывать жирную модель или можно полегче? А задача сложная или нет? Три сабагента или последовательно?

И ответы на эти микро-решения мы получаем от огромного ллм-монстра, который одновременно и рецепт жареного апельсина подскажет, и поможет пересобрать как карбюратор, ядро линукса, так и себя на ретрит. И вообще, ллмки проектировались как интерфейс к человеку, а не к к машине.

Именно эта поляна - маленькие микро-решения между машина-машина и есть поляна, которую пытается окучивать Jev. Принимать такие решения очень быстро, прогнозируемо и встраеваемо куда угодно. И даже если сама Jev исчезнет через 2 года, в индустрии появилось красивое инженерное направление, которое, я уверен, будет развиваться, потому что это очень болит.
И повторюсь - оно работает! Вот просто работает, очень точно и с латенси за океан в 300ms.

Горячо рекомендую.

https://habr.com/ru/articles/1085450/

ВАЙБКОДИНГ, ИТОГИ

всем доброго утра и идеальной рабочей недели (и сбросов лимитов 🕺)

Вторая часть истории про сквоттинг - нелегальная

Есть у меня один небольшой проект, на который идет трастовый органический трафик - не очень много, но он коммерческий (потенциально приводящий к покупке чего-либо), а значит дорогой. Чистая органика. В прошлом году он резко просел - ну, причин для проседания коммерческого трафика за последние несколько лет было не то чтобы сильно мало, но что-то было не то. Немного покопавшись, видимых причин все же не нашлось.

Но кое-что все-таки было. Раз в какое-то время проект в мониторинге отлетал по OOM - на своем барике, где это было физически невозможно. Покопавшись в истории запросов, я списал это на активность ботов AI-лаб (если вы смотрели аксес-логи какого-нибудь контент проекта, то их просто выпылесашивают боты клода/чатгпт/разных китайцев). Потом мне надо было что-то сделать - достаточно объемное, агентик это сделал и написал в рекап тра та та, сделал все что надо, вот так и так, бэкдор не трогал.

БЭКДОР НЕ ТРОГАЛ???? В итоге оказалось, что сайтик (на самом деле весь барик с проектами на нем) давно и безнадежно был взломан из-за одной давно необновляемой панельки управления тачкой от хостера. Интерес привлек именно этот проект - видимо, из-за коммерческого трафика. Отдав агентику всю графанку с прометеусами и всем чем только можно, было выяснено что через веб той панельки на хост закинули исполняемый бинарь, через который открывался доступ по ssh, а дальше полное раздолье - были прочеканы все платежные креды (их не было), а затем в один из проектов внедрили гениально-ублюдочную вещь.

Это был небольшой кусочек кода, который очень хорошо определял ботов поисковых (гугла/яндекса/бинг и тд) и ботов AI-лаб, и ТОЛЬКО ДЛЯ НИХ вешал на сайт баннер какого-то говноказино. То есть, обычные посетители ничего не видели, но как только заходил какой-то из ботов - он видел что мой сайт донатит траст непонятной помойке.

Собственно, просадка была именно из-за этого. Страшная вещь, которую вообще почти невозможно поймать.

Причем здесь агенты?

Во-первых, сам взлом - можно обстрелять хост обычными сканнерами уязвимостей, сгрузить репорт в фронтирную ллмку и она обязательно подскажет угол атаки, а при должном умении может и сама все проделать.

Во-вторых, вот эта схема - агенты хорошо понимают код, и такое можно делать автоматом - пылесосить креды и вставлять непонятные баннерки в самые укромные уголки кода.

Ты можешь заказать себе аудит фронтирной моделью, а тебя может атаковать модель поколения N+1 или специально подкрученная под поиск ЛЮБЫХ уязвимостей ЛЮБОГО СОФТА (а что-нибудь да найдется).

Мир, где можно было подзабить на небезопасный метод апи или случайно оставленные 766 на папку "потому что так побыстрее будет" - заканчивается, и это будет очень интересно.

P.S.: ну а фотка сегодняшняя из "переговорки принятия Больших Решений" (она же файлом в первом комменте, если захочется позалипать) 😄

А теперь хотелось бы поговорить про важное в эпоху дизрапта разработки продуктов: про сквоттинг.

Сквоттинг - это самовольный захват "свободных" зданий теми, кто не является их владельцем. Часто это заброшки, которые возникают по разным причинам человеческой жизнедеятельности.

В моей глубоко обожаемой Латинской Америке сквоттинг очень популярное явление (что в Аргентине особо больно потому что сквотят красоту) и чтобы с ним бороться правительство даже блокирует входы и выходы зданий, чтобы их невозможно было занять. Потому что когда люди заселились - их не выгнать, потому что уже некуда. В юарском Йоханнесбурге местные мне показывали многоэтажки, которые угоняли у застройщиков целиком - это такой прям бизнес, когда опасные гангста угоняют чужой по паспорту дом и начинают распоряжаться им как своим и сдавать легальным съемщикам.

Причем здесь AI и агенты, могли бы спросить вы?

У скоттинга есть цифровой аналог - кибер-сквотинг, и который начинался ровно тем же, что и обычный. Но в итоге пошёл сильно дальше.

Расскажу историю первую.

Когда-то давно я сделал приложение для обоих мобилок про офлайн-карты - я попал в реальную боль и потому на него быстро полился органический трафик. За год я собрал примерно 100k скачиваний чисто на органике, но в какой-то момент понял, что юнит-экономика проекта беспощадно требует либо привлечения инвесторских денег для LTV, либо просто оставить все это без поддержки и наслаждаться прилетающими мини-выплатами на оплату сервака и немного пивка сверху.

Я забил на проект на пару лет, он просто крутился на серваке, потом случился ковид (кто-то помнит что это?), и я окончательно выкинул проект из memory. Прилетел счет на оплату домена, но я уже забил - кому он теперь был нужен.

Потом спустя несколько лет случились ллмки. Мне показалось свежей идея обновить аппку, и тут я обнаружил сквоттинг - домен, на который тогда лился трафик и который был лендингом и названием проекта - угнали. Ровно в тот момент, когда я забил на счет оплаты домена, на него не забил кто-то другой, кто внимательно его отслеживал. Это называется "drop-catching" или по крестьянски - перехват освобождающегося домена под выкуп.

Теперь у меня есть аппка, но нет домена. Киберскоттеры внимательно забирают все, что забрасывается, только делают это моментально. И их тоже не выпиздишь просто так - нужно договариваться, и часто чек на таких договорах перебивает все затраты на сквоттинг до него. Я знавал одного сквоттера в ру-домене - у него в жизни было все замечательно.

Если трафика не очень много или его сложно монетизировать (как с моей аппкой) - домен просто бесконечно продлевается пока владелец или кто-то не придут договариваться о его выкупе. Если трафик легкий - там поднимает аналогичный проект. Подмены из пользователей никто не ощущает.

Сейчас в эпоху агентов сквоттеры получили супер крутые инструменты, чтобы делать то, что они делают, но круче на пару порядков. Пылесосить домены, поднимать копии проектов, подкинуть сверху рекламного трафика и подавлять подзапущенные или набирающие популярность оригиналы. В эпоху агентов сквоттеры могут выкупить все самые интересные имена под любые продукты - и это огромная продуктовая проблема.

Что мы делаем, чтобы придумать название нового проекта? Правильно, идём в чатгпт/клода/гемини и перебираем варианты. Угадайте, кто ещё так делает? И почему найти нормальный домен для проекта становится все сложнее?

Благодаря агентам можно не просто анализировать взлетающий спрос на что-то, но и автоматом обмазывать возрастающие стартапы похожими именами и под них же мимикрировать, подливать на них трафик, поднимать копии проектов и долго паразитировать на этом. С агентами это теперь не стоит почти ничего и это уже делается.

А вторая история - про сквотинг и прямой взлом, но ее - чуть попозже!

P.S.: на фото - великолепный Буэнос-Айрес, я про него писал тут и тут. Если наберется 20 ноготочков в реакциях, то позволю себе посты только про свои путешествия (а я облетел весь мир и написал больше тысячи постов про это)

Это я еду на «главную tech-конференцию Яндекса» (они сами в рекламе так писали) deep tech night. Она только по приглашениям, но меня позвали, и я в деле 😎

На конфу еду - правда, но фотка старая - сегодня как и всегда агенты пашут как не в себя, но в tmux+goal, поэтому можно будет спокойно покурить кальянчик и поесть паэльи на крутом мероприятии 😄

А если нет паэльи и кальянов, то зачем тогда ехать? Доклады чтоли слушать? 🧐

Это шутейка, конечно. Доклады бывают оч крутые! Один из таких крутых докладов я готовлю сейчас - для другой конфы Яндекса, которая называется «Я про бэкенд». Готовлю красоту про устройство поиска в кодовых агентах и планируется разъёб очень интересно. Бесплатно и без смс, паэлья в прошлый раз была!

У Яндекса, к слову, мероприятия очень крутые, 2 из 3 моих любимых - яндексовые. Посмотрим, что будет сегодня. Если в реакциях наберется 5 дельфинчиков - поделаю фоток внутри диптехнайта 🐳

Стартуем неделю с крутейшей темы: глубокий разбор того, как работает текстовый вотермарк в Claude и ллмках вообще 🤩

Написал (тире перевел статью от Себастьяна Рашки) на тему того, как под капотом работает вотермаркинг контента. Упахался 🥹 Честно говоря, когда я про такое услышал год назад, мне показалось что это нереально. Но нет, великие умы придумали красивое и элегантное инженерное решение.

Если кратко, то работает оно вот так:

В текстах полно взаимозаменяемых слов: во фразе «завтра первый день осени и это грустно» вместо «грустно» модель с почти равной вероятностью могла бы поставить «тоскливо» или «печально» или целый набор нецензурных аналогов👺 - для читающего смысл не меняется.

Вотермаркинг делает выбор между такими равнозначными вариантами не чисто случайным, а подкрученным секретным ключом. И благодаря ему же потом можно сделать детекцию - без вызова ллмки.

Но я очень рекомендую прочитать (форвардить и шарить!) целиком статью, вотермаркинг скоро будет, судя по всему, у всех фронтирный моделей 🤩🤩

https://habr.com/ru/articles/1076018/

Сейчас немалую часть времени я живу за городом, и у этого бесконечное количество плюсов, но последние три недели появился совсем жирный минус.

Это внезапно - KV-кэш! 🤩

Я сейчас всё объясню.

Когда я отдыхал на Карибах на Maho Beach (это пляж в 5 метрах от аэропорта с самым низким заходом на посадку больших самолетов в мире) я в своем тревел-бложике писал, что мне нравится просыпаться от звука моторов над головой. В 2026 году могу сказать, что надо быть поточнее в своих желаниях 🤩🙂

От того, что вокруг летает всякое разное, здесь, хоть это и ближайшее Подмосковье в 50 мин езды от центра, периодически глушат не просто связь, а ВСЁ. Звонки, смски от банков, мобильный интернет целиком, а недавно начали пороть даже проводной интернет - причем самым неприятным способом, например, подавляя лишь часть трафика UDP случайным образом. Не работает периодически, волнами, с нулевым пониманием когда это случится и когда отпустит.

С тем, что пропадает доступ (или целиком надолго отваливается) к AI-инструментам, можно справляться следующим образом: правильнее формировать приоритеты, писать хорошие спеки/PRD и пускать /goal (здоровья и счастливой жизни тем, кто это придумал и зарелизил!) в tmux на своем барике или квм. Работает как родное!

Но мой харнесс настроен таким образом, что после goal-задач (или просто продолжительных), он делает глубокий рекап - и детально расписывает что сделал, почему так, какие решения принял, что увидел по дорожке и так далее. Я все это внимательно читаю, и потом где-то возникают доделки, вопросики или уточнения.

И вот тут-то и вылезает KV-проблема. Как мы прекрасно знаем, любая ллмка - стейтлесс, а то, что она понимает продолжающийся диалог - держится на пересылке ей всей истории каждый раз. Это было бы очень дорого, если бы не KV, который каждый раз кэшит уже отправленную часть, поэтому при отправке новой фразы мы получаем кэш-хит, фактически платим только за нее и это стоит нам дешево.

Но чтобы случился кэш-хит, нам надо чтобы этот кэш был. А живет он очень непродолжительное время. Гораздо меньшее, чем успевает восстановиться тот самый коннект, который периодически отваливается 🥹 И получается, что у меня есть несколько сессий на 400-500k токенов, мне в них надо что-то немножко поправить, но дальше случается вот что:
• 500k токенов
- пишу новое сообщение
- оно не долетает и уходит в ретрай
- когда долетает ретрай - кэша уже нет и чарджат по полной стоимости
- ответ начинает генериться, но я не успеваю получить потому что связь пропадает снова, все снова уходит в ретрай
- ретрай снова влетает в кэш-мисс
....
Please wait for your weekly limit reset.

Вот это прям по настоящему бесит! 🤣🤣 Ну а в остальном - AI Agents At Work и Show Must Go On!

С пятницей! 👍🤩🤩

Про сам СберУниверситет. Он крутой!

На самом деле, в этой библиотеке из предыдущего поста немалое количество классных книг на самые разные тематики. И всё сделано ну очень приятно. 

Книжечки - лишь маленькая часть огромной махины под названием СберУниверситет - корпоративного университета Сбера. Я был в нем однажды на курсе по лидерству, а сейчас два дня читал лекцию про агентов для топ-менеджмента одного из дивизионов.

Университет прямо хорош: потрясающе красивый, все очень круто, атмосфера такого, как бы, курорта, но в то же время за каждым из столиков не потягивают мохито, а обсуждают какие-то дела по бизнесу, фасилитации с финтехами, эйяй и что-то про менеджмент. В ощущении курортности, конечно, сыграла свою роль погода, но все равно.

Шведский столик, за завтраком все уже обсуждают дела, какие-то встречи, созвончики и вот это все. Номера чистые аккуратные, есть басик и многое для спортактивности, но ландшафтный дизайн заслуживает просто космической оценки (как владелец загородного поместья, знаю как это дорого и требовательно) - за ландшафтку снимаю шляпу 🎩🌳

Но вот контент на курсе так себе - кто-то из спикеров путает дистилляцию и прунинг или считает, что в мире всего 6 фундаментальных моделей, у кого-то просто зашкаливающее самомнение или устаревший контент. Собственно, подправлять его меня и вызвали. Справился! 🤙