что-то на DL-ском

@nadlskom

Гео и язык канала: Россия, Русский

Категория: Технологии

Авторка активно хочет зашарить все на свете и делится в этом канале.
NLP ⊂ AI → NLP/CV/speech ⊂ AI
Связаться со мной @nadlsskom
Тг буст канала: https://t.me/nadlskom?boost

Связанные каналы | Похожие каналы

Гео и язык канала

Россия, Русский

Категория

Технологии

Статистика

Избранное

Фильтр публикаций

Скрывать удаленные

Скрывать репосты

что-то на DL-ском

22 Aug, 16:09

Себастьян Рашка (видео) про то, как Claude маркирует сгенерированный текст. В свете моего интереса последний месяц к созданию скилла для написания текстов в человеческом стиле, меня заинтересовало. Про паттерны AI-текста и способы его распознавания

How Claude's Text Watermarking Works

Link to the slides: https://sebastianraschka.com/pdf/slides/2026-08-18-claude-watermarking.pdf This video explains how Anthropic's text watermarking for Claude works. In particular, it explains how the next-token sampling process in LLMs work, and how this is modified to implement the watermarking ...

1.4k 2 85 3 14

что-то на DL-ском

8 Aug, 15:15

Репост из: Rad’s ai

На конференциях только и разговоров, что об агентах.

Вообще, я бы назвал это harness'ами. Они могут приносить кучу пользы, и их огромное количество: Claude Code, Codex, pi, Hermes, OpenClaw, Cursor, Muse Code...

Хорошая новость в том, что под капотом +- одни и те же механизимы, и если в них разобраться, почти не важно, какой harness у вас под рукой.

Поэтому проведу в понедельник, 10 августа в 18:30 открытый вебинар «Агенты без магии».

Разберём:
* как правильно ставить задачи агенту
* что такое скиллы, MCP и зачем они нужны
* в чем разница с пайплайнами, и почему для повторяемых задач они лучше подходят (например, n8n)

И с теорией, и с примерами. Свои подписки не требуются (но точно не будут лишними :) )

Участие, как и в предыдущий раз, свободное. Но нужно будет заполнить формочку (чтобы я знал, сколько вас будет).

А если есть вопросы или кейсы, которые хочется разобрать – пишите в комментарии.

А для тех, кто хочет глубоко погрузиться в ИИ и стать магистром AI ☕️ – у нас целая программа в МФТИ есть, с которой успешно выпустилось пять потоков. Онлайн, на английском, совместимо с работой, в небольшой группе. Подача документов через Госуслуги до 11 августа, вам достаточно оставить заявку, дальше мы проведем по шагам. Присоединяйтесь!

P.s. Долго думал, какие аналогии провести, получилось вот такое:
Claude Code – для храбрых
Codex – для спокойных
Goose – для желающих пропатчить KDE2 под FreeBSD
Hermes – для отаку
pi – 🐭

MSAI program

This online program aims to introduce students to the contemporary state of Machine Learning and Artificial Intelligence.

2k 0 31 8

что-то на DL-ском

8 Aug, 14:02

Mistral на столько frontier компания, что пока антропик и опенаи приостанавливает исследования моделей из-за опасности со стороны ии, а UK AISI утверждают, что Kimi вышла за границы sandbox, наши французские слоняры продолжают делать мощь💪💪💪💪🥖🥖

2k 0 4 44

что-то на DL-ском

2 Aug, 00:14

Репост из: Love. Death. Transformers.

все видели NLA/J space от антропиков? Ну типа учат доп модель "reader который читает активации " и по ним отвечает.

Вот и я видел, но мне не нравилось что:
- кастом модели надо учить с нуля
- нельзя смотреть " а была ли модель байеснута при ответе"

Ну и я обучил universal activation oracle - училась сразу на разных семействах моделей и через динамическую( там тонкий слой для каждой модели за 20s на цпу чтобы размерности поматчить) можно посмотреть "а что кими3 думает про Путина(ничего хорошего)" - иногда требуется покрутить слой который вы читаете чтобы получить хороший результат, но "почти всегда" работает из коробки на средних слоях.

По сути это общее решение для задачи
Activation oracle/white box monitoring
Велком тыкатся:
https://huggingface.co/spaces/AlexWortega/activation-oracle

2.1k 0 20 2 14

что-то на DL-ском

30 Jul, 15:58

Репост из: Love. Death. Transformers.

Котик(мальчик) а Москве ищет новый дом, нашли на улице, помыли, отвели в ветеринарнку(все ок), вам нужно только забрать и любить его.

@zjkarina

1.9k 0 10 31

что-то на DL-ском

29 Jul, 11:14

К нам на MATS приходил Нил Нанда отвечать на вопросы. Я сделала хайлайты вопрос-ответов на мой вкус

Disclaimer: все QA пропущены через мою призму восприятия и писались строго по запоминающимся фрагментам

Топ вопросов:

💛Стоит ли сейчас идти на PhD в AI?

если там есть конкретный сильный ментор, с которым очень хочется работать, то в целом да. Но хорошее менторство можно получить и во frontier lab, куда ты просто устраиваешься на работу. Я так поняла, internships он тоже считает нормальной альтернативой. За пять лет PhD AI успеет очень сильно поменяться, поэтому overall suggestion звучал скорее как «идти, только если нет более подходящего варианта». И вообще искать в первую очередь не правильный формат, а хороших менторов.

💛Про его понимание интерпретации сейчас

Он сейчас понимает interpretability скорее как monitors и classifiers для corner cases. И говорил, что было бы круто сильнее совместить её с alignment. Что мне особенно понравилось, потому что я примерно так interpretability всегда и воспринимала: как инструмент для alignment, а не как отдельную область сама по себе.

💛Был ещё хороший тейк про выбор ресерч-проектов и их управление

Можно заранее написать план, как именно проект должен прийти к результату, поставить себе точки сверки и дальше проверять, успеваешь ли ты по этому графику. Если к нужному моменту вообще не пришёл туда, куда рассчитывал, возможно, проект стоит оставить, а не пытаться бесконечно его спасать.

Понять, стоит ли вообще браться за идею, можно, поспрашивав ментора, Fable и опираясь на собственный research taste. Правда, настоящий research taste Нил, по его словам, видел у очень небольшого количества людей, так что последний пункт не самый надёжный.

Были еще разные рассуждения на тему кто в долгосрок более способен на успех опенаи или дипмаинд и куда идти, если не в DeepMind, но не возьмусь передавать все тейки на эти темы🌚

2.7k 1 30 6 31

что-то на DL-ском

16 Jul, 15:16

Если вы думаете, что я шутила, то нет. Я буквально ваш стажер дурашка, который помешан на агентах😋

Вот скилл. Подходит и для кодекса и для Клода https://github.com/zj-karina/complexity-budget

По сути просто доп классификатор в вашу разработку, который делает ablation на надобность фичи

1. Определяет ближайший результат, который хотим достичь, а не глобальный вердикт
2. Проверят существует ли бейзлайн
3. Разбирает каждый компонент по 4 вопросам: какую гипотезу проверяет, нужен ли для ближайшего результата, что без него сломается, можно ли заменить на более простой алгоритм временно
4. Присваивает метку решения
5. Проектирует минимальный следующий эксперимент
6. Результат принятия решений

😏Подойдет, кстати, не только для разработки с авторесерч скиллом, но и для проверки вашей дурашости

GitHub - zj-karina/complexity-budget: Keep experiments simple with evidence-based complexity budgets.

Keep experiments simple with evidence-based complexity budgets. - zj-karina/complexity-budget

12.3k 3 277 4 42

что-то на DL-ском

16 Jul, 12:41

- Дали фидбек о избыточном использовании авторесерча и ллм для написания текста
- иду советоваться с ллм как жить в такой конфигурации и писать скилл по сокращению артефактов от авторечерча

*тут могла бы быть реклама скилла авторисерча, но мы не договорились о вознаграждении*

2.8k 0 8 71

что-то на DL-ском

15 Jul, 19:47

Очень занятный блогпост выпустили знакомые стажеры с MATS-а

Задача была проверить вкус LLM-ок к правильному ресерчу (ну то есть на сколько авторесерч способен на написание статей)

Сетап следующий:
💛они отобрали свои любимые статьи (4)
💛взяли Opus попус и отобрали им утверждения начальных гипотез, которые стоит замаскировать, чтобы понять прийдет ли LLM, которую они тестируют к таким же утверждениям
💛Потом они опусом же оценивают на сколько отличаются предикты от того, что сделали люди в статье и выдают табличку метрик сравнения

Очень интересный эксперимент, но на мой взгляд имеет ограничения и лики
💛Во-первых не понятно, как оценила бы модель другого семейства (что забавно, у них не выстрелил лик с тем, что они тестируют опусом себя же, но может быть они не допроверили что было бы, если бы тестировали гпт гпт-шкой))
💛Во-вторых, они буквально все делают опусом, что кажется дает потенциальный лик в артефактах, которые они дальше передают
💛В-третьих, они не учитывают, что эти статьи могли быть в обучении LLM-ок, которые тестируют

Короче, резы все равно очень забавные, фабля остался в аутсайдерах в таком сетапе😏

2.8k 0 14 1 21

что-то на DL-ском

13 Jul, 20:40

– Сначала ты: как классно, я буду рабоать с safety и строить мониторинги с редтимом☺️
– Потом антропик команда со своим мониторингом с FP😠

Upd: ладно, я просмотрела свой датасет, так конечно есть за что так сказать))

2.4k 0 11 1 48

что-то на DL-ском

10 Jul, 17:56

Репост из: ML Underhood

По следам воркшопов и постерных сессий

Вчера мы анонсировали активности с участием наших исследователей на ICML 2026. Теперь делимся фото и впечатлениями спикеров о том, как это было.

Дмитрий Еремеев, Yandex Research:

Для меня это первая конференция — всё было в новинку, проходило очень насыщенно. Одну из наших статей, GraphPFN, мы представляли в формате постера на основной конференции, а ещё я выступал с докладом по ней на воркшопе по Graph Foundation Models. На постерах многие хвалили работу, часто задавали содержательные вопросы. В итоге GraphPFN ещё и получил best paper award на воркшопе!

К сожалению, не смог нормально посмотреть другие постеры и пообщаться с авторами, так как большинство релевантных нам работ были во время постерных сессий, когда мы сами представляли свои работы. Тем не менее, судя по представленным статьям, таким как PluRel или RDB-PFN, область движется именно в том направлении, которое мы считаем перспективным и важным и в котором активно развиваемся сами. Это не может не радовать!

Карина Романова, старший разработчик:

Я участвовала в воркшопе по Mechanistic Interpretability. К нашей статье был большой интерес со стороны исследователей из известных зарубежных университетов. Многие хвалили идею и говорили, что исследование будет полезно для их проектов.

Сам воркшоп был очень сильным. Нашли много хороших работ. Например, о том, как обучили VLA-агента в среде и выявили случаи, когда модель начинает «сходить с ума» (MultiSTEVE-1s). Или о том, что активации модели содержат больше информации для определения важных шагов рассуждения, чем сами токены (Reasoning Models Know What’s Important, and Encode It in Their Activations).

Было приятно поделиться опытом наших исследований с коллегами на международной площадке и перенять их опыт.

#YaICML2026

ML Underhood

2.1k 0 10 7 21

что-то на DL-ском

10 Jul, 05:20

1804 ICML приходите расскажем как в пространстве выглядят лоссы RL относительно SFT. И почему некоторые RL методы не отличаются от SFT, а часть из них генерит более разнообразный ответ

Upd: мы перевесились на 216

2.8k 0 42 4 70

что-то на DL-ском

7 Jul, 17:05

2.6k 0 5 2 36

что-то на DL-ском

7 Jul, 08:40

Послушала оч прикольный орАл от OpenAI сегодня на ICML. Суть в том, что мониторы safety (да честно говоря любые) довольно сложно мерить. Я сейчас столкнулась с этим в своем проекте на MATS. Довольно сложно вычленить правильно ли монитор сработал. Нам надо не продолбаться с FP-шками (когда он запаниковал), правда ли он выловил злонамеренное действие, когда особо нет ground truth-а на тип атаки. Я сейчас решаю это миллионом кейсов на эвале в разных классах и held-out-ом разных типов атак.

У них проблема ещё жёстче: для «повлиял ли на модель X» ground truth не наблюдаем даже в принципе. Они строят три архетипа эвалов

💛 Intervention. Подкидываем вмешательство (хинт, мнение пациента, память с демографией юзера), сравниваем с контрольной веткой и спрашиваем монитор, повлияло ли оно. Хитрая метрика: для конкретного сэмпла нельзя знать, хинт ли причина ответа, поэтому TPR определяют через нижнюю границу каузального эффекта (total effect между ветками).
💛 Process. Задачи по математике и физике, где эксперты заранее перечислили все допустимые пути решения через конкретные теоремы. Ответ верный = модель почти наверняка шла одним из путей, и монитор должен найти его следы в CoT.
💛 Outcome-property. Среды, где misbehavior однозначно виден по результату: невыполнимые кодинг-задачи (тесты прошли = точно хакнула), ShadeArena, anti-scheming датасеты, саботаж в снапшоте кодбейзы OpenAI.

Метрика везде g-mean² = TPR × TNR вместо F1, потому что F1 ломается на дисбалансе классов и не наказывает дегенеративный монитор

Сегодня хочу дополнить их идеями свой эвал blue-team в проекте и понять что докинут эти критерии

Папир

3k 0 29 1 27

что-то на DL-ском

26 Jun, 14:30

Не мой список, собирали добрые люди. Мне показалось, что шортлист программ речерч стажировок будет полезен многим, кто хочет апгрейднуть навыки, поэтому публикую

Отличный способ научиться ресерчу, понетворкаться и написать +1 статью на меин A*

Education:
- https://fast.ai
- https://learnmechinterp.com/topics/
- https://bluedot.org/courses

Non technical fellowships:
- BlueDot fellowships https://bluedot.org/
- Talos Fellowship https://www.talosnetwork.org/talos-fellowship
- Horizon Fellowship https://horizonpublicservice.org/programs/become-a-fellow/
- AI Policy Fellowship https://www.iaps.ai/fellowship
- Tarbell Fellowship https://www.tarbellcenter.org/fellowship
- Pathfinder Fellowship https://pathfinder.kairos-project.org/

Technical fellowships:
- Astra Fellowship https://constellation.org/programs/astra
- SPAR https://sparai.org/
- LASR Labs https://www.lasrlabs.org/
- Cambridge ERA:AI https://erafellowship.org/
- Algoverse AI Safety Fellowship
https://algoverseairesearch.org/ai-safety-fellowship
- PIBBSS https://princint.ai/programs/fellowship/
- MATS https://www.matsprogram.org/
- ML Collective https://mlcollective.org/
- Mila https://mila.quebec/en/ai4humanity/ai-governance-policy-and-inclusion/mila-ai-policy-fellowship
- INSAIT https://insait.ai/surf/
- Redwood Research
https://aisecurityandsafety.org/en/grants/redwood-research-remix/
- Apart Research/ alignment jams https://apartresearch.com/sprints
- Cohere Labs https://cohere.com/research
- Encode https://encode.pillar.vc/
- PRISM fellowship https://prism-research.org/
-MARS https://caish.org/mars

There are also a few other things available:
- https://labsxiv.com/
- https://aisafety.com/events-and-training

fast.ai—Making neural nets uncool again – fast.ai

4.4k 2 271 6 34

что-то на DL-ском

25 Jun, 12:31

Репост из: Rad’s ai

Разбирал на прошлой неделе решения соревнования Data Dojo по машинному переводу. Победителей, конечно, наградят, но польза соревнований же не только в призах :)

Поэтому хочу выделить полезные вещи для широкой (но все же связанной с ML/AI) аудитории: разобрать некоторые хитрости и базовые трюки на примере задачи перевода, про LLM, дообучение и токенизацию.

Проведу в четверг 25 июня в 20:00 по Мск вебинар на тему "Малоресурсные языки и эффективное дообучение языковых моделей"
Участие свободное, но нужно будет заполнить формочку (чтобы я знал, сколько вас будет).

Присоединяйтесь! Если есть вопросы, которые хочется разобрать – накидайте в комментарии.

Rad’s ai

Прилагаю слайды и подборку ссылок по прошедшей лекции. Если в телеге слайды не загружаются – вот ссылка на диск. Как правильно фармить kaggle – Классная статья, не только про kaggle, а про то, как построить правильный pipeline для ML экспериментов. Выступление Салавата про межславянский язык с Da...

2.6k 0 13 1 9

что-то на DL-ском

24 Jun, 18:22

Где искать работу за рубежом

AI-рынок пухнет, вакансий все больше, так что для всех, кто думает про международную карьеру, сейчас неплохое окно. Вместе с каналом Dev & ML Connectable Jobs собрали подборку зарубежных компаний, где работают русскоговорящие.

Подойдет не только тем, кто прямо сейчас в активном поиске. Прогнать себя по рынку и трезво оценить шансы полезно даже если уходить никуда не собираешься (делать это раз в полгода вообще мастхэв, иначе резюме костенеет, а зп отстает от рынка).

Что есть:

1. Data Scientist (NLP Deep Learning) в Revolut
2. Head of AI в maisa.ai
3. AI Developer в Novakid
4. Data Scientist в Mira
5. Senior Deep Learning Researcher в Pinely
6. ML Engineering Lead / Senior ML Engineer в Libermans Co

Dev & ML Connectable Jobs

Вакансии от 300+ зарубежных компаний с русскоговорящими фаундерами или командами. Наши читатели уже получили офферы в JetBrains, 1inch, Neon и др💙 Разместить вакансию: https://www.connectablejobs.com/?utm_source=devcj Q&A: @connectable_jobs_team

2.9k 1 66 9 55

что-то на DL-ском

22 Jun, 11:28

Репост из: Love. Death. Transformers.

- все методы дают очень похожие результаты в плане метрик
- а дают ли одинаковый ландшафт весов?
- нет: sft, rft, dft, offilne grpo учат +- одно и тоже
- dpo, grpo, dapo(вариант grpo) учат одно разное и не похожее между сабой
- эффект переносится вне зависимости от lr и seed
huggingface.co/spaces/AlexWortega/same-data-different-losses
ебаните лайков я нейрослопил с любовью бложик

репостните: https://x.com/justALEXWORTEGA/status/2068790635570561429?s=20

Same Data, Different Losses, Same Circuits? - a Hugging Face Space by AlexWortega

Interactive weight-space geometry of six reasoning losses

2.4k 0 15 1 19

что-то на DL-ском

19 Jun, 20:26

Наша статья принята на ICML, а это значит, что надо было сделать постер. Хочется сделать его быстро и качественно, поэтому не долго думая я решила, что ебаться с этим мы не хотим. Хотим, чтобы это делал Claude когда он уже будет делать все мои дела пока я пью пиво???

Я отсмотрела все инструменты в интернете для создания постеров автоматизировано и решила запихнуть все фичи в один универсальный скилл. Так родился скилл для генерации постеров, который универесально может вам сгенерить постер для любой конференции по их требованиям к формату и люой вашей идее дизайна

Как это работает:
💛устанавливаете скилл из моей репы https://github.com/zj-karina/my-little-poster
💛клод интервьюирует вас на предмет какая конференция или воркшоп вас интересует и какая статья. Можете это все закинуть ему ссылками. Он найдет все за вас
💛после у вас есть выбор в каком стиле сделать ваш постер и при желании можно дать ключик к fal.ai, чтобы получился например такой стиль как у нашего постера с my little pony

Кст суть статьи следующая. Кучу offline RL лоссов для дистилляции ризонинга (RFT, RIFT, DFT, Offline GRPO, DPO) сравнивают почти всегда только по accuracy на бенчах. Но никто не смотрит, что они реально делают с весами. Учат одни и те же цепи ризонинга с разной скоростью или это вообще разные вычисления?

Резы:
💛SFT, RFT, RIFT это один и тот же апдейт
DFT внезапно выбивается сильнее всех
💛Offline GRPO единственный reward-сигнал, который реально добавляет ортогональную компоненту
💛DPO это вообще другой алгоритм, и геометрически, и по точности

13.3k 5 282 11 53

что-то на DL-ском

19 Jun, 15:31

Репост из: Борис опять

Оказывается, одна из работ принятых в этом году на IMCL 2026, On Efficient Scaling of GNNs via IO-Aware Layers Implementations, выросла из проекта студентов ШАД и получила spotlight.

Немного поговорил с одним из авторов, Федей Великонивцевым. Ребята из ШАДа исследовали, как ускорить графовые нейросети на GPU. Оказалось, на практике GNN часто упираются не в вычисления, а в память и передачу данных. Для разных семейств моделей исследователи нашли свои узкие места и адаптировали существующие GPU-оптимизации под графовые данные. Получили до 8.5х ускорения и до 76х экономии памяти GPU для attention свертки. Еще добавили поддержку тензорных ядер и показали, что эффективность оптимизаций сильно зависит от структуры графа.

Цитата от Феди:

Все кернелы - drop-in замены под PyTorch без тяжёлых зависимостей, репозиторий уже на GitHub. По сути, мы переносим в Graph-ML принцип IO-aware разработки, который для многих областей стал стандартом, а для GNN пока остаётся нишевой практикой.

Статья | Код

Поздравляю авторов и всех, кто в этом году едет на ICML. Возможно, увидимся в Корее :)

2.2k 0 17 2 30

Показано 20 последних публикаций.

4 907

подписчиков

Статистика канала

Язык сайта

Купить живых подписчиков

ИИ-агент сам находит вам клиентов

Купить живой трафик

что-то на DL-ском

Гео и язык канала

Категория

4 907

Популярное в канале