Время Валеры


Гео и язык канала: Россия, Русский
Категория: Технологии


Мне платят за то, что я говорю другим людям что им делать.
Автор книги https://www.manning.com/books/machine-learning-system-design
https://venheads.io
https://www.linkedin.com/in/venheads

Зарегистрирован в РКН
Связанные каналы  |  Похожие каналы

Гео и язык канала
Россия, Русский
Категория
Технологии
Статистика
Фильтр публикаций


На основе пятничного поста про промт:
Сожми документ максимально, не потеряв никакой информации.

Превратили этот подход в отдельный open-source skill — lossless-doc-compress.

Скилл читает документ целиком и относит каждый фрагмент к одной из трёх категорий:

KEEP — содержит информацию и остаётся без изменений;
REMOVE — доказуемо избыточен и удаляется;
FLAG — требует решения автора, поэтому остаётся в документе с пометкой.

Он удаляет filler, пустой hedging, LLM-slop, дословные повторы и избыточные формулировки. Сохраняет факты, цифры, решения, оговорки, ограничения, названия систем, код и таблицы.

Если есть сомнение — не удалять, дает отметку для автора

Результат: три артефакта:
Сжатый документ.
Лог всех удалений и спорных мест.
Scorecard: число слов до/после, процент сокращения и подтверждение сохранности содержания.

npx skills add ML-SystemDesign/MLSystemDesign
Код и инструкция:
https://github.com/ML-SystemDesign/MLSystemDesign/tree/main/skills/lossless-doc-compress

Это пост был прогнан через скилл

6k 0 229 17 170

☁☁☁☁☁☁☁

24 сентября Yandex Cloud проведёт флагманскую технологическую конференцию — Yandex Scale 2026.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В программе четыре продуктовых трека — AI, Data, Security и Hybrid Infrastructure & DevOps, — и отдельный углублённый технологический трек DeepTech, который пройдёт только онлайн.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨
В треке DeepTech откроем программу докладом о том, как мы ускорили Lua в Valkey — добавили LuaJIT и Lua 5.5 без патчей интерпретатора и получили прирост скорости до 2–5 раз. Расскажем, как строим экономически эффективный инференс LLM для агентских сценариев в Yandex AI Studio — на примере DeepSeek-V3.2 и DeepSeek-V4-Flash. Разберём, что разваливается в поиске, когда он должен быть одновременно распределённым, транзакционным и линейно масштабируемым — на примере векторного, полнотекстового и гибридного поиска в YDB. Покажем, какая инфраструктура превращает недетерминированную модель в управляемый и наблюдаемый сервис, когда агент выходит из демо в продакшн. Расскажем, как мы первыми в РФ научились мониторить ИИ-агентов внутри «чёрного ящика» LLM. И заглянем под капот сети облака — Interconnect, Private Link, Inbound DNS и DNS Firewall, которые складываются в герметичный контур между Yandex Cloud, on-premises и другими облаками.

🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨
🎨🎨🎨🎨🎨🎨🎨🎨🎨🎨

Плюс демозоны, питчинг решений, IT-квест и мерч для тех, кто в Москве. А кто смотрит онлайн, помимо трека DeepTech, есть ещё отдельная онлайн-студия: розыгрыш призов и секретный гость.


Полную программу можно посмотреть на сайте, там же — зарегистрироваться. Участие бесплатное

8.4k 0 34 9 390

После ревью документов сегодня (один из дизайнов был на 51 страници!) даю совет всем, кто готовит документацию, пишет дизайн-доки и т. п.

1. То, что это написал агент/LLM, — не проблема, если вы это прочитали, поправили, дали контекст и т. д. Считайте, что отдали работу по редактуре. Если делегировали думать, получается чаще ерунда.

2. Прогоните свой документ через простую команду: «compress this as much as possible without losing any information» — обычно сокращает где-то в 2 раза (и заодно чистит часть слопа).

Всем хорошо: вам, ревьюерам, команде, моделям.

10.6k 1 249 23 445

Две первые главы книги «Agentic AI System Design» уже написаны и сейчас находятся на ревью у соавторов.

Один соавтор тот же: https://t.me/partially_unsupervised
Два — с курса по ML System Design.

По отзывам вышло неплохо:
Прочитал с кайфом и даже взял на вооружение


Надеюсь, к концу года допишем.

15.1k 0 89 22 719

3 года назад я рассказывал про сказочника в своем посте

Но тот случай был хотя бы безвредным, да и, прочитав это, сказочник быстро убрал свои фантазии.

На днях в местах, где я живу, произошла история более печальная и более масштабная со всех сторон.

Профессор Jason Arday, который стал самым молодым черным профессором в истории Кембриджа, оказался не тем, за кого себя выдавал. Оказалось, что докторская его с большой вероятностью полна плагиата.

Но здесь ничего необычного нет - плагиат встречается регулярно. Необычно то, что человека, судя по всему не очень связанного с реальностью (дальше станет понятно почему), подняли на флаг и использовали как классический токен.

Arday с каждым годом завирался все больше
* То он пробежал 600 миль (почти 1000 км) за 6 дней.
* То он научился читать и писать только в 18 лет, но при этом в 16 сдал два GCSE (аналог ОГЭ) и учился на BTEC в колледже.
* То он пролежал в коме и заново учился ходить.
* То он собрал 5 млн фунтов на благотворительность.
* Где-то сообщалось, что он говорил, что участвовал в записи телепередачи ребенком, оказалось, что она про детей, которые родились за 15+ лет до него
* И много-много чего еще, очевидно невероятного.

Его лекции, по словам студентов, представляли собой (если он приходил на них) какую-то околесицу, где в основном смотрели YouTube и затем обсуждали в группах. Это, конечно, говорит еще и про качество самой дисциплины, где он преподавал (sociology of education).

Кембридж вначале сказал, что все это клевета и навет.
Потом, под весом доказательств, когда университеты, указанные Джейсоном в резюме как те, где он почетный лектор, сообщили, что это не так и он никогда у них не был, согласился на расследование. До этого 4 месяца полиция слегка прессовала журналиста, который посмел найти плагиат у почетного академика - теперь публично извинилась.

В конце концов - Джейсон ушел в отставку, а сегодня BBC сообщило, что он найден мертвым.

В итоге история, начавшаяся как враки и фантазии, принесла множество бед. Самому Джейсону и его семье. Студентам, многие из которых заплатили деньги, чтобы слушать такую чепуху, Кембриджу, а заодно дала повод для критики практик DEI. Такой вот Мюнхгаузен наших дней.

Самое удивительное в этой истории — как настолько очевидную ложь и регулярные жалобы со стороны студентов заметали под ковер в жертву великой идее. А казалось бы, университет мирового уровня.

Поэтому каждый раз, сталкиваясь на работе с фантазерами и решая промолчать (а ситуаций, аналогичной этой, много, пусть и не в таком масштабе), подумайте о конечном эффекте и о том, к чему это может привести.

49.6k 7 530 69 280

Мы с Романом Нестером, Валерием Бабушкиным и Бесланом Курашовым (plevako.ai и karpov.courses) приглашаем вас на наш FuckUp Night 26 августа.

От формата отходить не будем — поделимся своими историями, где всё пошло не по плану. И поговорим про культуру ошибок: как не зацикливаться на промахах и использовать их в свою пользу.

Встречу проведём онлайн, поэтому подключиться можно из любой точки и всем, кто принимает решения на основе данных.

🔵 Важно! Записи не будет, поэтому приходите на эфир. Главное, не забудьте зарегистрироваться.

16.9k 2 105 20 97

Пару лет назад я общался с CTO Ozon Tech Антоном Степаненко и ребятами из его команды по поводу создания платформы для LLM. Ребята оказались замечательными, но переезжать из Лондона я не стал (примерно как с кафедрой ЦУ вышло), а ещё за пару лет до этого я выиграл книгу во время доклада Бориса Штерна в Яндексе — за лучший вопрос.

И вот эти два замечательных человека встречаются хэдлайнерами на конференции E-CODE от Ozon Tech, а в секцию ML/DS добавляется Валентин Малых, с которым мы недавно стояли на капитанском мостике.

ML-секция хорошая — индустриальный ML, работа с генеративными подсказками, уровни дообучения и агентский Cotype.

Зарегистрироваться можно здесь: https://ecode.ozon.tech/

Участие в конференции и вечеринках — бесплатное

19.5k 1 141 18 185

Пару лет назад я общался с CTO Ozon Tech Антоном Степаненко и ребятами из его команды по поводу создания платформы для LLM. Ребята оказались замечательными, но переезжать из Лондона я не стал (примерно как с кафедрой ЦУ вышло), а ещё за пару лет до этого я выиграл книгу во время доклада Бориса Штерна в Яндексе — за лучший вопрос.

И вот эти два замечательных человека встречаются хэдлайнерами на конференции E-CODE от Ozon Tech, а в секцию ML/DS добавляется Валентин Малых, с которым мы недавно стояли на капитанском мостике.

ML-секция хорошая — индустриальный ML, работа с генеративными подсказками, уровни дообучения и агентский Cotype.

Зарегистрироваться можно здесь: https://ecode.ozon.tech/

Участие в конференции и вечеринках — бесплатное


В комментариях к предыдущему посту просили рассказать про оптимизацию состояния тела, и тут как раз есть что рассказать.

Мой текущий набор в виде Ultimate Anti-Ageing Bundle и Orange Triad + Greens Vitamins имеет следующую проблему:

Тяжело набирать 20 таблеток из первого, да ещё с учётом того, что в каждом пакете разное количество порций, то есть части стака банально заканчиваются в разное время

И отвратительный вкус второго, хотя это меньшая проблема.

Почитав, посмотрев — решил попробовать играть как Бэкхэм The Beckham Stack - IM8

По нутриентам заменяет всё выше.
По удобству — гораздо лучше.
Вкус — хороший.

Рекомендовать пока не могу, но через три месяца напишу.

22.6k 0 182 41 361

Зашёл в магазин, где шьют обувь королю. Спросил, за какой срок пошьют bespoke. Сказали 18 месяцев.

В истории за такой срок менялись многие правители, а в ЮК совсем недавно так 3 премьер-министра было за это время.
Много думал.

21k 0 85 39 375

Два года не мог забрать фиолетовый пояс. Наконец-то забрал. Теперь у меня есть ещё одна профессия, где я могу учить.

20.9k 1 112 80 900

Прочитал замечательную статью: The Linux Scheduler: a Decade of Wasted Cores

“And you have to realize that there are not very many things that have aged as well as the scheduler. Which is just another proof that scheduling is easy.”
Linus Torvalds, 2001

15 + лет спустя
As a central part of resource management, the OS thread scheduler must maintain the following, simple, invariant: make sure that ready threads are scheduled on available cores. As simple as it may seem, we found that this invariant is often broken in Linux. Cores may stay idle for seconds while ready threads are waiting in runqueues. In our experiments, these performance bugs caused many-fold performance degradation for synchronization-heavy scientific applications, 13% higher latency for kernel make, and a 14-23% decrease in TPC-H throughput for a widely used commercial database


и
The Group Imbalance bug
The bug. We encountered this bug on a multi-user machine which we used to perform kernel compilation and data analsis using the R machine learning package. We suspected that this system, a 64-core, eight-node NUMA server, did not use all available cores for highly-threaded computations, instead crowding all threads on a few nodes. We illustrate this bug with the output from our visual tool


Стоит заметить, что их фикс у меня вызывает много сомнений, замена среднего на минимум, для оценки загрузки - многое может пойти не так. Да и в целом, я бы даже не назвал это багами, оптимизировали под свою нагрузку - честь им и хвала, но это не значит что в среднем стало лучше, а не хуже.

Самый важный вывод, что понимая систему достаточно глубоко, можно ее взять и допилить очень значимо под себя


Данные сами по себе ничего не решают.

Можно годами строить отчёты, обновлять дашборды и считать метрики, не приблизившись ни к реальному продуктовому решению, ни к следующей ступени карьеры.

А можно научиться находить в данных точки роста, проверять гипотезы экспериментами и превращать результаты анализа в действия.

Именно этому посвящена магистратура «Продуктовая аналитика» Центрального университета, где я недавно чуть не стал руководителем кафедры, но из Лондона оказалось нельзя

Программа проходит офлайн, по вечерам и выходным в центре Москвы, поэтому её можно совмещать с работой. В основе — Python, SQL, статистика, A/B-тестирование и продуктовые метрики.

После первого семестра можно выбрать траекторию «Наука о данных» × Авито: реальные данные, машинное обучение, инструменты индустрии и преподаватели из Авито. Лучшим студентам предложат стажировки или офферы. Остальные как минимум закончат обучение с портфолио полноценных аналитических кейсов, а не только с перечнем пройденных курсов.

Магистратура длится два года. По окончании выдается диплом государственного образца. Карьерная поддержка начинается ещё во время обучения: консультации, тренировочные собеседования и помощь с трудоустройством.

Но главное — грантовый конкурс.

В 2026 году ЦУ выделяет 550 грантов на программы магистратуры. Грант может покрыть до 75% стоимости обучения на все два года.

Дедлайн подачи заявки — 20 августа. Места ограничены.

Если давно собирались перейти в аналитику или Data Science, откладывать ещё на год особого смысла нет.

Подробнее — по ссылке.




Для тех, кому тяжело пользоваться скиллами, создали два GPT:

* ML System Design Reviewer
* AI Stage Gate Reviewer


Вот это уже интереснее
Файн тюнинг из коробки, правда привязан к их платформе, что хорошо для них

https://thinkingmachines.ai/news/introducing-inkling/



42.2k 3 536 35 1.4k

Добавили еще один скилл - AI Stage-Gate Review. Поможет вам ответить на вопрос, стоит ли продолжать или лучше перестать.

Скилл имени Адама Елдарова

Use this skill to run a gate review for an AI product and reach a defensible decision: advance, fix-and-recycle, or stop. Stage-Gate is a portfolio-management process that structures an AI product from idea to scale: each stage of work ends at a gate where results are defended and a Go/Conditional/Kill decision is made. The useful output is not a checklist stamp. It is a decision that says what is proven, what is still a risk, what must be true to advance, and how much to invest next.

Provenance. This skill encodes a generic Stage-Gate process adapted for AI products — six stages on Discovery and Delivery tracks, traffic-light gates, and dual value-and-technical validation. It is a distilled, vendor-neutral adaptation, not a transcription of any one organization's internal playbook; tune the stages, criteria, and thresholds to your own portfolio. It is a sibling of ml-system-design-review in the same ML System Design skill collection: that skill judges how good a design is; this one judges whether it has earned the next investment.

The process runs on two tracks — Discovery (find and validate ideas) and Delivery (build and scale) — across six stages, with an optional Fast Track for low-uncertainty products. The AI difference is that value alone is never enough: technical feasibility, data, and alignment must clear each gate too.



23.5k 2 184 34 221

Репост из: partially unsupervised
Давние читатели канала помнят, что когда-то в древние времена мы с Валерой написали книжку про ML design. Это было так давно, что люди тогда умели не только читать по диагонали, но еще иногда писать, а книги были значимым артефактом для упаковки знаний. С тех пор утекло немало воды, работу делают агенты, и книгам они предпочитают скиллы.

И вот мы с клодом наконец добрались перепаковать одно в другое: ML system design в форме скилла с набором рубрик для ревью. Устанавливается одной командой через skills.sh, умеет ревьювить дизайн-доки и ML проекты лучше агента из коробки и чесать нам эго ненавязчиво ссылаться на авторов как могучих авторитетов.

17.7k 1 476 21 521
Показано 20 последних публикаций.